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内 容 简 介 


本 书 主要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 服 
务 程 序 的 主流 第 规 技术 ， 午 点 讲解 一 种 适应 性 较 强 的 多 线程 服务 问 的 编 
程 模型 ， 即 one loop per thread。 这 是 在 Linux 下 以 native 语 言 编 写 用 户 态 
局 性 能 网 络 程序 最 成 熟 的 模式 ， 沿 握 之 后 可 顺利 地 开 友 各 类 香 见 的 服务 
端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 例 ， 讲 解 这 种 编程 模型 的 使 用 
方法 及 注意 事项 。 

本 书 的 守则 是 员 精 人 不轨 多 。 午 握 两 种 基本 的 同步 原 语 束 可 以 满足 各 
种 多 线程 同步 的 功能 需求 ， 还 能 与 出 更 易 用 的 同步 设施 。 和 营 握 一 种 进程 
间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 瓯 足以 应 对 日 名 开 友 任务， 编 与 
运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 


未 经 许可 ， 不 得 以 任何 方式 复制 或 抄 表 本 书 之 部 分 或 全 部 内 容 。 
和 版权 所 有 ， 侵 权 必 气 。 
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由 容 简 介 


本 书 主要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 服 
务 程 序 的 主流 沼 规 技术 ， 午 点 讲解 一 种 适应 性 较 强 的 多 线程 服务 问 的 编 
程 模型 ， 即 one loop per thread。 这 是 在 Linux 下 以 native 语 言 编 写 用 户 态 
局 性 能 网 络 程序 最 成 熟 的 模式 ， 尚 握 之 后 可 顺利 地 开 友 各 类 香 见 的 服务 
端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 例 ， 讲 解 这 种 编程 模型 的 使 用 
方法 及 注意 事项 。 

本 书 的 守则 是 员 精 人 不轨 多 。 午 握 两 种 基本 的 同步 原 语 束 可 以 满足 各 
种 多 线程 同步 的 功能 需求 ， 还 能 写 出 更 易 用 的 同步 设施 。 笛 握 一 种 进程 
间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 束 足 以 应 对 日 第 开 友 任务 ， 编 写 
运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 


作者 简介 


陈 硕 ， 北 京师 范 大 学 借 士 ， 擅 长 C++ 多 线程 网 络 编程 和 实时 分 布 式 
系统 架构 。 曾 在 摩根 士 赃 利 开 部 门 工作 5 年 ， 从 事实 时 外 汇 交 易 系 统 开 
发 。 现 在 在 美国 加 州 硅谷 某 互联 网 大 公司 工作 ， 从 事 大 规模 分 布 式 系统 
的 可 靠 性 工程 。 编 写 了 开源 C++ 网 络 库 muduo， 参 与 翻译 了 《代码 大 全 
(第 2 版 ) 》 和 《C++ 编 程 规 (繁体 版 ) 》， 人 整理 了 《C++ Primer (第 
4 版 ，”“【〔 评 注 版 ，》， 并 曾 多 次 在 各 地 技术 大 会 演讲 。 


电子 工业 出 版 社 


封 奔 文 邓 


看 完了 W. Richard Stevens 的 传世 经 典 《UNIX 网 络 编程 》， 能 照 着 
例子 用 Sockets API 编 瑟 echo 服 务 ， 却 仍然 对 稍微 复杂 一 点 的 网 络 编程 任 
务 感到 无 从 下 手 ? 学 习 网 络 编程 有 哪些 好 的 练 手 项 目 ? 书 中 示例 代码 把 
业务 逻辑 和 Sockets 调 用 混在 一 起 ， 似 乎 不 利于 将 来 扩展 ? 网 络 编程 中 过 
到 一 些 具体 问题 该 怎么 办 ? 例如 : 


| 程序 在 本 机 测试 正 第 ， 放 到 网 络 上 运行 就 经 党 出 现 数 据 收 不 全 的 
情况 ? 

TCP 协 议 真 的 有 上 所谓 的 “ 粘 包 问题 ? 吗 ? 访 如 何 设计 消息 帧 的 协议 ? 
叉 访 如何 编 码 实现 分 包 才 不 会 挥 a 到 陷阱 里 ? 

:市 外 数据 (OOB) 、 信 号 驱动 10 这 些 避 级 特性 到 上 底 有 没有 用 ? 

:网络 协议 格式 该 怎么 设计 ? 发送 C struct 会 有 对 齐 方面 的 问题 吗 ? 
对 方 不 用 C/C++ 怎么 通信 ? 将 来 服务 闯 软 件 升级 ， 需 要 在 协议 中 增加 一 
个 字段 ， 现 大 的 客户 并 束 必须 强制 升级 ? 

要 处 理 成 二 上 万 的 并 友和 连接 ， 似 乎 《UNIX 网 络 编程 》 介 绍 的 传统 
fork() 模 型 应 付 不 过 来 ， 访 用 哪 种 并 发 模型 呢 ? 试 试 
select(2)/poll(2)/epoll(4) 这 种 IO 复 用 模型 吧 ， 又 感觉 非 阻 硅 IO 陷阱 重重 ， 
怎么 程序 的 CPU 使 用 率 一 百 定 1009%6? 

要 不 改 用 现成 的 libevent 网 络 库 吧 ， 怎 么 查询 一 下 数据 库 束 把 其 他 
连接 上 的 请 求 给 耽误 了 ? 再 用 个 线程 池 吧 。 万 一 发 回 啊 应 的 时 候 对 方 已 
经 断 开 连接 了 怎么 办 ? 会 不 会 串 话 ? 


恋 过 《UNIX 环 境 高 级 编程 》， 想 用 多 线程 来 及 挥 多 核 CPU 的 性 能 
潜力 ， 但 对 程序 该 用 哪 种 多 线程 模型 感到 一 头 稚 水 ?有 没有 值得 推荐 的 
适用 面 广 的 多 线程 IO 模型 ? 互 斥 世 、 条 件 变 量 、 读 写 锁 、 信 号 量 这 些 搬 
层 同 步 原 语 哪 些 该 用 哪些 不 该 用 ?” 有 没有 更 局 级 的 同步 设施 能 简化 开 
及 ? 《UNIX 网 络 编程 《第 2 孝 ) 》 介 绍 的 那些 琳琅 满目 的 进程 间 通 信 
(IPC) 机 制 到 夺 用 哪个 才能 痰 顾 开 友 效率 与 可 伸 性 ? 


网 络 编程 和 多 线程 编程 的 基础 打 得 差不多 ， 开 始 实际 做 项 目 了 ， 更 
多 问题 扑面 而 来 : 


:网 上 上 听 人 说 服务 端 开 发 要 做 到 7x24 运 行 ， 为 了 防止 内 存 碎 片 连 动 
态 内 存 分 配 都 不 能 用 ， 那 岂 不 是 连 C++ STL 也 一 并 禁用 了 ? 硬件 的 可 靠 


性 高 到 值得 去 这 么 做 吗 ? 

“传闻 服务 问 开 友 主 要 通过 日 志 来 合 错 ， 那 么 日 忘 里 该 写 些 什 么 ? 
日 记 古 写 给 谁 看 的 ? 起 样 瑟 日 忘 才 不 会 影响 性 能 ? 

-分布 式 系 统 跟 里 机 多 进程 到 研 有 什么 本 质 区 列 ? 心 跳 协议 为 什么 
是 必需 的 ， 该 如 何 实 现 ? 

-C++ 的 大 型 工程 该 如 何 官 理 ? 库 的 接口 如 何 设 计 才 能 你 证 升级 的 时 
候 不 破坏 二 进 制 莱 容 性 ? 有 疫 有 更 适合 大 规模 分 布 式 系 统 的 部 童 方案 ? 


这 本 《Linux 多 线程 服务 妆 编 程 : 使 用 muduo C++ 网 络 库 》 中 ， 作 


上 YA。 


腹 本 


本 书 主要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 服 
务 程序 的 主流 常规 技术 ， 这 也 是 我 对 过 去 5 年 编写 生产 环境 下 的 多 线程 
服务 端 程序 的 经 验 总 结 。 本 书 重 点 讲解 多 线程 网 络 服务 器 的 一 种 IO 模 
型 ， 即 one loop per thread。 这 是 一 种 适应 性 较 强 的 模型 ， 也 是 Linux 下 以 
native 语 言 编写 用 户 态 高 性 能 网 络 程 序 最 成 熟 的 模式 ， 掌 握 之 后 可 顺利 
地 开发 各 类 常见 的 服务 端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 例 ， 讲 
解 这 种 编程 模型 的 使 用 方法 及 注意 事项 。 

muduo 是 一 个 基于 非 阻 竖 IO0 和 事件 豫 动 的 现代 C++ 网 络 库 ， 原 生 文 
持 one loop per thread 这 种 IO 模型 。muduo 适 合 开 发 Linux 下 的 面 癌 业务 的 
多 线程 服务 六 网 络 应 用 程序 ， 其 中 “ 面 同 业务 的 网 络 编程 ”的 定义 见 附录 
A。 “现代 C++” 指 的 不 是 C++11 新 标准 ， 而 是 2005 年 TR1 肥 布 之 后 的 
C++ 语言 和 库 。 与 传统 C++ 相 比 ， 现 代 C++ 的 变化 主要 有 两 方面 : 资源 
常理 〈 见 第 1 章 ) 与 事件 回调 〈 见 此 处 ) 。 

本 书 不 是 多 线程 编程 教程 ， 也 不 是 网 络 编程 教程 ， 更 不 是 C++ 教 
程 。 读 者 应 该 已 经 大 致 读 过 《UNIX 环 境 高 级 编程 》、《UNIX 网 络 编 
程 》、 《C++ Primer》 或 与 之 内 容 相 近 的 书籍 。 本 书 不 谈 C++11， 因 为 
目前 〈2012 年 ) 主流 的 Linux 服 务 问 发 行 碑 的 g++ 厂 本 都 还 俘 留 在 4.4， 
C++11 进 入 实用 疝 需 一 段 时 日 。 

本 书 适 用 的 硬件 环境 是 主流 x86-64 服 务 器 ， 多 路 多 核 CPU、 几 十 GB 
内 存 、 于 兆 以 太 网 互联 。 除 了 第 5 章 讲 诊断 日 志 之 外 ， 本 书 不 涉及 文件 
[TO 。 

本 书 分 为 四 大 部 分 ， 第 1 部 分 “C++ 多 线程 系统 编程 > 考察 多 线程 下 的 
对 象 生 命 期 管理 、 线 程 同 步 方 法 、 多 线程 与 C++ 的 结合 、 高 效 的 多 线程 
日 志 等 。 第 2 部 分 “muduo 网 络 库 ”介绍 使 用 现成 的 非 阻 塞 网 络 库 编写 网 络 
应 用 程序 的 方法 ， 以 及 muduo 的 设计 与 实现 。 第 3 部 分 “工程 实践 经 验 
谈 ” 介 绍 分 布 式 系 统 的 工程 化 开发 方法 和 C++ 在 工程 实践 中 的 功能 特性 
取舍 。 第 4 部 分 “附录 ”分 享 网 络 编 程 和 C++ 语 言 的 学 习 经 验 。 

本 书 的 守则 是 贵 精 不 贵 多 。 笛 所 两 种 基本 的 同步 原 语 束 可 以 满足 各 
种 多 线程 同步 的 功能 需求 ， 还 能 写 出 更 易 用 的 同步 设施 。 掌 握 一 种 进程 
间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 束 足 以 应 对 日 弟 开 发 任务 ， 编 写 
运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 (本 书 不 涉及 分 布 式 存储 系 
统 ， 也 不 涉及 UDP。 ) 


术语 与 排版 范例 


本 书 大 量 使 用 英文 术语 ， 其 至 有 少量 磋 文 引文 。 设 计 模 陈 的 名 字 一 
律 用 英文 ， 例 如 Observer、Reactor、Singleton。 在 中 文 术 语 不 够 突出 
时 ， 也 会 使 用 英文 ， 例 如 class、heap、event loop、STL algorithm 等 。 注 
意 儿 个 中 文 C++ 术 语 : 对 象 实 体 (instance) 、 函 数 重 载 诀 议 
(Cresolution ) 、 模 板 具 现 化 《instantiation) 、 履 写 (override) 虚 函 
数 、 提 领 (dereference〉 指针 。 本 书 中 的 英语 可 数 名 词 一 般 不 用 复数 形 
式 ， 例 如 两 个 class，6 个 syscall; 但 有 了 时 会 用 (s) 强 调 中 文 名 词 是 复数 。fd 
是 文件 描述 符 (file descriptor〉 的 绚 写 。“CPU 数 目 ” 一 般 指 的 是 核 
(core) 的 数目 。 容 量 单位 kB、MB、GB 表 示 的 字 节 数 分 别 为 10; 、10: 
、10" ， 在 特别 强调 准确 数值 时 ， 会 分 列 用 KiB、MiB、GiB 表 示 2" 、2” 
、2" 字 节 。 用 诸如 811.5 表 示 本 书 第 11.5 节 ，L42 表 示 上 下 文中 出 现 的 第 
42 行 代码。[JCP]、[CC2e] 竺 是 参考 文献 ， 见 书 末 清单 。 

一 般 术 语 用 普通 罗马 字体 ， 如 mutex 、socket ; C++ 关键 字 用 无 村 
线 字体 ， 如 class、this、mutable ; 函数 名 和 class 名 用 等 宽 字 体 ， 如 
fork(2) 、muduo: :EventLoop ， 其 中 fork(2) 表 示 系 统 男 数 forkO 的 文档 位 
于 manpage 第 2 节 ， 可 以 通过 man 2 fork 命 令 查看 。 如 果 函 数 名 或 类 名 过 
长 ， 可 能 会 折 行 ， 行 末 有 连 字 号 “-”， 如 EventLoop-ThreadPool。 文 件 路 
径 和 UREL 采 用 窄 字体 ， 例 如 muduo/base/Date.h 、http://chenshuo.com 。 用 
中 文 楷体 表示 引述 别人 的 话 。 


代 侣 


本 书 的 示例 代码 以 开源 项 目的 形式 肥 布 在 GitHub 上 ， 地 址 是 
httpwgithub.comwy chenshuo/recipes; 和 httpygithub.comychenshuomuduoy 。 本 书 
配套 页 面 提供 全 部 源 代码 打包 下 载 ， 正 文中 出 现 的 类 似 recipes/thread 的 
路 人 径 是 压缩 包 内 的 相对 路 人 径 ， 斌 者 不 难 找到 其 对 应 的 GitHub URL。 本 
书 引 用 代码 的 形式 如 下 ， 左 侧 数 字 是 文件 的 行 配 ， 右 侧 有 的 “ 
muduo/base/Types.h ”是 文件 路 径 :。 例 如 下 面 这 几 行 代码 是 muduo::string 的 
typedef 。 


muduo/base/ Types.h 
15 Namespace muduo 


16 二 


18 #ifdef MUDUO_STD_STRING 
19 Using std::string:; 
20 #else // !MUDUO_STD_STRING 
21 typedef __gnuyu_cxx::__ss0_string string: 
22 #endif 
muduo/base/Types.h 


本 书 假定 读者 熟悉 diff -u 命 令 的 输出 格式 ， 用 于 表示 代 公 的 改动 。 

本 书 正 文中 出 现 的 代码 有 时 为 了 照顾 排版 而 略 有 改写 ， 例 如 改变 央 
进 规则 ， 去 挥 单行 条 件 语句 前 后 的 伦 括 写 等 。 束 编程 风格 而 论 ， 应 以 电 
子 版 代码 为 准 。 


联系 方式 


邮箱 : giantchen@gmail.com 
主页 : http://chenshuo.com/book〈 正 文 和 脚注 中 出 现 的 URL 可 从 这 里 找 
到 。 ) 
做 博 : http://weibo.com/giantchen 
博客 : http://blog.csdn.net/Solstice 
代码 : http://github.com/chenshuo 
际 贷 
中 国 : 香 洪 


注释 
1 在 第 5、7 两 章 的 muduo 示 例 代 码 中 ， 路 入 muduo/examples/XXX 会 简写 为 examplesAXXX 。 
此 外 ， 第 8 章 会 把 recipes/reactor/XXX 简写 为 reactor/YOX 。 


第 1 部 分 
C++ 多 线程 系统 编程 


第 1 草 ” 线 程 安全 的 对 象 生命 期 过 理 


编写 线程 安全 的 类 不 是 难事 ， 用 同步 原 语 (synchronization 
primitives) 保护 内 部 状态 即 可 。 但 是 对 象 的 生 与 死 不 能 由 对 象 目 身 拥有 
的 mutex《〈 互 太 句 ) 来 保护 。 如 何 避 人 免 对 象 析 构 时 可 能 和 存在 的 race 
condition( 苋 态 条 件 ) 是 C++ 多 线程 编程 面临 的 基本 问题 ， 可 以 借助 
Boost 库 中 的 shared_ptr 和 weak_ptr! 完 美 解决 。 这 也 是 实现 线程 安全 的 
Observer 模式 的 必 备 技术 。 

本 草 尝 目 2009 年 12 月 我 在 上 海 祝 成 科技 举办 的 C++ 拉 术 大 会 的 一 场 
淆 讲 《 当 析 构 函数 过 到 多 线程 》， 谈 者 应 具有 C++ 多 线程 编程 经验 ， 回 
芒 互 太 器 、 苋 态 条 件 等 概 您 ， 了 解 镶 能 指针 ， 知 道 Observer 议 计 模式 。 


1.1 当 析 构 函数 过 a 到 多 线程 


与 其 他 面 问 对 象 语言 不 同 ，C++ 要 求 程 序 员 目 己 管理 对 象 的 生命 
期 ， 这 在 多 线程 环境 下 显得 尤为 困难 。 当 一 个 对 象 能 被 多 个 线程 同时 看 
到 时 ， 那 么 对 象 的 销毁 时 机 区 会 变 得 模糊 不 清 ， 可 能 出 现 多 种 葛 态 条 件 


(race condition ) : 


-在 即将 析 构 一 个 对 象 时 ， 从 何 而 知 此 刻 是 否 有 别 的 线程 正在 执行 
该 对 象 的 成 员 函 数 ? 

:如 何 保证 在 执行 成 员 函 数 期 间 ， 对 象 不 会 在 另 一 个 线程 被 析 构 ? 

-在 调用 条 个 对 象 的 成 员 函 数 之 前 ， 如 何 得 知 这 个 对 象 还 活 看 ? 它 
的 析 构 函数 会 不 会 碰巧 执行 到 一 半 ? 


解决 这 些 race condition 是 C++ 多 线程 编程 面临 的 基本 问题 。 本 文 试 
图 以 shared_ptr 一 戎 永 逸 地 解决 这 些 问 题 ， 减 轻 C++ 多 线程 编程 的 精神 负 
担 。 
1.1.1 线程 安全 的 定义 

依据 [JCP]， 一 个 线程 安全 的 class 应 当 满 足以 下 三 个 条 件 : 


:多 个 线程 同时 访问 时 ， 其 表现 出 正确 的 行为 。 


无论 操作 系统 如 何 调度 这 些 线程 ， 无 论 这 些 线程 的 执行 顺序 如 何 
交织 (interleaving) 。 


.调用 端 代码 无 须 额外 的 同步 或 其 他 协调 动作 。 


依据 这 个 定义 ，C++ 标 准 库 里 的 大 多 数 class 都 不 是 线程 安全 的 ， 包 
括 std:: string、std::vector、std::map 等 ， 因 为 这 些 class 通 第 需要 在 外 部 加 
锁 才 能 供 多 个 线程 同时 访问 。 


1.1.2 MutexLock 与 MutexLockGuard 


为 了 便于 后 文 讨 论 ， 先 约定 两 个 工具 类 。 我 相信 每 个 写 C++ 多 线程 
程序 的 人 都 实现 过 或 使 用 过 类 似 功能 的 类 ， 代 人 码 见 $2.4。 

MutexLock 封 装 I 临 界 区 (critical section) ， 这 是 一 个 简单 的 资源 
类 ， 用 RAI 手 法 cc sa 封 半 互 斥 器 的 创建 与 销毁 。I 临 界 区 在 Windows 上 
是 struct CRITICAL SECTION， 是 可 重 入 的 ; 在 Linux 下 是 
pthread_mnutex_t， 默 认 是 不 可 重 入 的 :。MutexLock 一 和 股 是 别 的 class 的 数 
据 成 员 。 

MutexLockGuard 封 荫 临 界 区 的 进入 和 退出 ， 即 加 锁 和 解锁 。 
MutexLockGuard 一 般 是 个 栈 上 上 对象， 它 的 作用 域 刚 好 等 于 临界 区 域 。 

这 两 个 class 都 不 允许 拷贝 构造 和 赋值 ， 它 们 的 使 用 原则 见 $2.1。 


1.1.3 ”一 个 线程 安全 的 Counter 示 例 


编写 单个 的 线程 安全 的 class 不 算 太 难 ， 只 需 用 同步 原 语 保护 其 内 部 
状态 。 例 如 下 面 这 个 简单 的 计数 喜 关 Counter: 


1 // A thread-safe counter 

2 class Counter : boost: :noncopyable 

3 攻 

4 上 copy-ctor and assignment should be private by default for a class. 
5 public: 

6 Counter() : value_(8) {1 

7 Int64 +t value() const; 

8 int6d_t getAndlncreaset(): 

9 

10 private: 

11 int64 t+ value_; 

12 mutable MutexLock mutex_.: 

13 J}; 

14 

15 int64_t Counter: :value(Y const 

16 

17 MutexLockGuard lock(mutex_): // lock 的 析 构 会 晚 于 返回 对 象 的 构造 ， 
18 return Value_; // 因此 有 效 地 保护 了 这 个 共享 数据 。 

19 } 

20 

21 nt64_t Counter::getAndlncreaset) 

22. 潜 

23 MutexLockGuard lock(mutex_):; 

24 int64 t ret = value_++: 

25 return ret: 

26 J 

27 YA/ In a real world, atomic operations are preferred . 

28 7// 当然 在 实际 项 目 中 ， 这 个 class 用 原子 操作 更 合理 ， 这 里 用 锁 仅仅 为 了 举例 。 


这 个 class 很 表白 ， 一 看 束 明 白 ， 也 容易 验证 它 是 线程 安全 的 。 每 个 
Counter 对 象 有 自己 的 mutex_， 因 此 不 同 对 象 之 间 不 构成 锁 争 用 (lock 
contention ) 。 即 两 个 线程 有 可 能 同时 执行 L24， 前 提 是 它们 访问 的 不 是 
同一 个 Counter 对 象 。 注 意 到 其 mutex 成 员 是 mutable 的 ， 意 味 着 const 成 
员 函 数 如 Counter::value() 也 能 直接 使 用 non- es 思考 : 如 果 
mutex 是 static， 是 含 影响 正确 性 和 / 或 性 能 ? 

尽管 这 个 Counter 本 身 毫 无 问 是 线程 安全 的 ， 但 如 果 Counter 是 动 
通过 指针 来 访问 ， 前 面 提 到 的 对 象 销毁 的 race condition 仍 然 
子 仁 。 


1.2 对象 的 创建 很 简单 


象 构造 要 做 到 线程 安全 ， 唯 一 的 要 求 是 在 构造 期 间 不 要 泄露 this 
中 针 ， 即 


:不 要 在 构 迄 函数 中 注册 任何 回 而 ; 
也 不 要 在 构造 函数 中 把 this 传 给 跨 线 程 的 对 象 ; 
即便 在 构造 函数 的 最 后 一 行 也 人 不行 。 


之 所 以 这 样 规定 ， 是 因为 在 构造 疯 数 执行 期 间 对 象 还 没有 完成 切 始 
化 ， 如 果 this 补 泄露 (escape) 给 了 其 他 对 象 〈( 其 目 喘 创建 的 子 对 象 除 
外 ) ， 那 么 别 的 线程 有 可 能 访问 这 个 半成品 对 象 ， 这 会 造成 难以 预料 的 
后 未 。 


/7 不 要 这 么 做 (Don't do this.) 
class Foo : public Observer // Observer 的 定义 几 第 18 页 
{ 
public: 
Foo(Observable* s) 


{ 
s->register_(this); // 错误 ， 非 线程 安全 
} 


virtual void update(): 


对 象 构 造 的 正确 方法 : 


// 要 这 么 做 (Do this.) 
class Foo : public Observer 


public: 

Foo(), 

virtual void update(); 

/1 为 外 定义 一 个 函数 ， 竹 构 道 之 后 执行 回调 函数 的 注册 工作 


void observel(Observable* s) 


I 


s->register_(this); 
上 
上 


Foox PhFoo = new Foo: 
Observable*w s = getsubjecte):; 
pFoo->observe(s); /A 二 段 式 构 造 ， 或 者 直接 写 s->reglister_(pFoo): 


这 也 说 明 ， 二 段 式 构造 即 构造 子 数 +initialize( 有 时 会 是 好 
办 法 ， 这 虽然 不 人 符合 C++ 教条 ， 但 是 多 线程 下 列 无 选择 。 另 外 ， 既 然 允 
许 二 段 式 构造 ， 那 么 构造 函数 不 必 主 动 搜 异 常 ， 调 用 方 靠 initialize0 的 返 
回 值 来 判断 对 象 是 否 构造 成 功 ， 这 能 简化 错误 处 理 。 

即使 构造 函数 的 最 后 一 行 也 不 要 汽 露 this， 因 为 Foo 有 可 能 是 个 基 








类 ， 基 类 先 于 派生 类 构造 ， 执 行 完 Foo::Foo0 的 最 后 一 行 代 码 还 会 继续 
执行 派生 类 的 构造 函数 ， 这 时 most-derived class 的 对 象 还 处 于 构造 中 ， 
NA A 

相对 来 说 ， 对 象 的 构造 做 到 线程 安全 还 是 比较 容易 的 ， 毕 葛 曝 光 
而 析 构 的 线程 安全 束 不 那么 简单 ， 这 也 是 本 和 章 关 注 的 


1.3 ”销毁 太 难 


对 象 析 构 ， 这 在 单线 程 里 不 构成 问题 ， 节 多 需要 注意 避免 空 仿 指针 
和 野 指 针 :。 而 在 多 线程 程序 中 ， 和 存在 了 太 多 的 苋 态 条 件 。 对 一 般 成 员 
函数 而 言 ， 做 到 线程 安全 的 办 法 是 让 它们 顺 次 执行 ， 而 不 要 并 发 执行 
(关键 是 不 要 同时 读 写 共享 状态 ) ， 也 就 是 让 每 个 成 员 函 数 的 临界 区 不 
重 登 。 这 十 显而易见 的 ， 不 过 有 一 个 隐 含 条 件 或 许 不 是 每 个 人 都 能 立刻 
想到 : 成 员 函 数 用 来 保护 临界 区 的 互 斥 右 本 喘 必 须 是 有 效 的 。 而 析 构 函 
数 破 坏 了 这 一 假设 ， 它 会 把 mutex 成 员 变 量 销毁 掉 。 悲 剧 啊 ! 


1.3.1 mutex 不 是 办 法 


mutex 只 能 保证 函数 一 个 接 一 个 地 执行 ， 考 虑 下 面 的 代码 ， 它 试图 
用 互 斥 锁 来 保护 析 构 函数 : (注意 代码 中 的 (1) 和 (2) 两 处 标记 。) 


Foo: :~Foo() vold Foo: :update() 


MutexLockGuard lock(mutex_):; MutexLockGuard lock{mutex_}); // (2) 
/i free internal state (1) YA make use of internal state 


} } 


此 时 ， 有 A、B 两 个 线程 都 能 看 到 Foo 对 象 x， 线 程 A 即 将 销毁 x， 而 线程 
B 下 准备 调用 x->update()。 








extern Foo* x; /YA visible by all threads 


thread A /:/ thread B 

delete x: if CX) 计 

x = NULL; // helpless x->Updater): 
} 


1. 线程 A 执 行 到 了 析 构 函数 的 (上 处 ， 已 经 持 有 了 互 斥 锁 ， 即 将 继 
续 往 下 执行 。 
2. 线程 B 通 过 了 if ( 罗 检 测 ， 阻 塞 在 (2) 处 。 


接 下 来 会 发 生 什 么 ， 只 有 天 晓得 。 因 为 析 构 函数 会 把 mutex_ 人 销毁 ， 
那么 (2) 处 有 可 能 永远 阳 窟 下 去 ， 有 有 可 能 进入 “临界 区 ”， 然 后 core 
dump， 或 者 发 生 其 他 更 糟 炎 的 情况 。 

这 个 例子 至 少 说 明 delete 对 象 之 后 把 指针 置 为 NULL 根 本 没有 用， 如 果 
一 个 程序 要 靠 这 个 来 防止 二 次 释放 ， 说 明代 码 逻 辑 出 了 问题 。 


1.3.2 ”作为 数据 成 员 的 mutex 个 能 你 护 析 构 


前 面 的 例子 说 明 ， 作 为 class 数 据 成 员 的 MutexLock 只 能 用 于 同步 本 
class 的 其 他 数据 成 员 的 读 和 写 ， 它 不 能 保护 安全 地 析 构 。 因 为 
MutexLock 成 员 的 生命 期 最 多 与 对 象 一 样 长 ， 而 析 构 动作 可 说 是 发 生 在 
对 象 映 故 之 后 (或 者 里 亡 之 时 ) 。 男 外 ， 对 于 基 类 对 象 ， 那 么 调用 到 基 
类 析 构 函数 的 时 候 ， 派 生 类 对 象 的 那 部 分 已 经 术 构 了 ， 那 么 基 类 对 象 拥 
有 的 MutexLock 不 能 保护 整个 析 构 过 程 。 再 说 ， 析 构 过 程 本 来 也 不 需要 
你 护 ， 因 为 只 有 别 的 线程 都 访问 不 到 这 个 对 象 时 ， 析 构 才 是 安全 的 ， 否 
则 会 有 8§1.1 谈 到 的 苋 态 条 件 友 生 。 

男 外 如 果 要 同时 读 写 一 个 dass 的 两 个 对 象 ， 有 洪 在 的 死 锁 可 能 。 比 
方 说 有 swap0 这 个 函数 : 
volid swap(Counter& a, Counter& b) 

\ 
MutexLockGuard aLock(a.mutex_): // potential dead lock 
MutexLockGuard blLock(b.mutex_); 
1Int64 t value = a.value_.: 
a.value_ = b.value_， 
b.value_ = value: 


上 
如 果 线 程 A 执 行 swap(a, b); 而 同时 线程 B 执 行 swap(b, a);， 就 有 可 能 
死 锁 。operator=() 也 是 类 似 的 道理 。 


Counter& Counter: :operator=(const Counter& rhs) 


{ 
if (this == &rhsy 
return *this: 


MutexLockGuard myLock(mutex_): //: potential dead lock 
MutexLockGuard itsLock(rhs.mutex_): 

value_ = rhs.value_: // 改 成 value_ = rhs.value() 会 死 钢 
return *this.; 


} 
一 个 函数 如 果 要 锁 住 相 同类 型 的 多 个 对 象 ， 为 了 你 证 始终 按 相 同 的 
顺序 加 锁 ， 我 们 可 以 比较 mutex 对 象 的 地 址 ， 始 终 先 加 锁 地 址 较 小 的 


mutex。 


1.4 ”线程 安全 有 的 Observer 有 多 难 


一 个 动态 创建 的 对 和 象 是 否 还 活 看 ， 光 看 指针 是 看 不 出 来 的 (引用 也 
一 样 看 不 出 来 )”。 指 针 就 是 指 同 了 一 块 内 和 存 ， 这 块 内 存 上 的 对 象 如 果 已 
经 销毁 ， 那 么 陀 根 本 不 能 访问 cc 5 ( 束 像 free(3) 之 后 的 地 址 不 能 访问 
一 样 ) ， 既 然 不 能 访问 又 如 何 知 道 对 象 的 状态 呢 ? 换 句 话说 ， 判 断 一 个 

自 针 是 不 是 合法 指针 没有 高 效 的 办 法 ， 这 是 C/C++ 指 针 间 题 的 根源 :+。 
(万 一 原址 又 创建 了 一 个 新 的 对 象 呢 ? 再 万 一 这 个 新 的 对 象 的 类 型 异 于 
老 的 对 象 呢 ? ) 

在 面 同 对 象 程 序 设 计 中 ， 对 和 象 的 天 系 主要 有 三 种 : composition、 
aggregation、association。composition 《组合 / 复合 ) 关系 在 多 线程 里 不 
会 过 到 什么 且 烦 ， 因 为 对 和 象 x 的 生命 期 由 其 唯一 的 拥有 者 owner 控 制 |， 
owner 析 构 的 时 候 会 把 x 也 析 构 挥 。 从 形式 上 看 ，x 古 owner 的 直接 数据 成 
员 ， 或 者 scoped_ptr 成 员 ， 抑 或 owner 持 有 的 容 硕 的 元 和 又。 

后 两 种 关系 在 C++ 里 比较 难 办 ， 处 理 不 好 束 会 造成 内 存 泄 漏 或 重复 
释放 。association (关联 / 联系 ) 是 一 种 很 宽泛 的 关系 ， 它 表示 一 个 对 
象 a 用 到 了 夯 一 个 对 象 b， 调 用 了 后 者 的 成 员 函 数 。 从 代码 形式 上 看 ，a 
持 有 b 的 指针 《或 引用 ) ， 但 是 b 的 生命 期 不 由 a 单 独 控 制 。 
aggregation 〈 聚 合 ) 关系 从 形式 上 看 与 association 相 同 ， 除 了 a 和 b 有 好 和 辑 
上 的 整体 与 部 分 关系 。 如 果 b 是 动态 创建 的 并 在 整个 程序 结束 前 有 可 能 
被 释放 ， 那 么 束 会 出 现 $1.1 谈 到 的 苋 态 条 件 。 

那么 似乎 一 个 简单 的 解决 办 法 是 : 只 创建 不 销毁 。 程 序 使 用 一 个 对 
象 池 来 梢 存 用 过 的 对 象 ， 下 次 申请 新 对 象 时 ， 如 条 对 象 池 里 有 存 人 其， 驳 


重复 利用 现 有 的 对 象 ， 合 则 束 新 建 一 个 。 对 象 用 完了 ， 不 是 百 接 释 放 
挥 ， 而 是 放 回 池子 里 。 这 个 办 法 当然 有 其 目 身 的 很 多 缺 点 ， 但 至 少 能 如 
免 访问 失效 对 象 的 情况 及 生 。 

这 种 山 罕 办 法 的 问题 有 : 


对象 凶 的 线程 安全 ， 如 何 安全 地 、 完 整地 把 对 象 放 回 季子 里 ， 防 
止 出 现 * 部 分 放 回 ”的 竞 态 ? (线程 A 认为 对 象 x 已经 放 回 了， 线程 B 认 为 
对 象 X 还 活着 。 ) 

.全 局 共享 数据 引发 的 lock contention， 这 个 集中 化 的 对 象 池 会 不 会 
把 多 线程 并 发 的 操作 串 行 化 ? 

In 那么 是 重复 实现 对 象 闻 还 是 使 用 
类 模板 ? 

.会 不 会 造成 内 存 汇 漏 与 分 片 ? 因为 对 象 池上 占用 的 内 存 只 增 不 减 ， 

而 且 多 个 对 象 池 不 能 共享 内 存 〈 想 想 为 何 ) 。 


回 到 正题 上 来 ， 如 果 对 象 z 注 册 了 任何 非 静 态 成 员 函 数 回 调 ， 那 么 
必然 在 茶 处 持 有 了 指 同 x 的 指针 ， 这 就 暴露 在 了 race condition 之 下 。 

一 个 典型 的 场景 是 Observer 模 式 (代码 见 
recipes/thread/test/Observer.cc ) 。 


1 class Observer // : boost::noncopyable 
| 

3 public: 

4 virtual ~OQbservert(): 

5 virtual void update() = 6: 

6 i 

?7 

8 

9 class Observable // : boost::noncopyable 
10 二 

11 public: 

12 VOid register_(Observer* x): 

13 yoOld unreglster(Observer* x): 

14 

15 vold notlfyobserversfty { 

16 for (Observerx x : observers_) { // 这 行 是 C++11 
17 x->Uupdate(): // (3) 

18 } 

19 ] 

20 private: 

21 std: :vector<Observer*> observers_.; 
2 


当 Observable 退 知 每 一 个 Observer 时 (L17)， 它 从 何 得 知 Observer 对 象 
x 还 活 看 ? 要 不 试 试 在 Observer 的 析 构 函数 里 调用 unregister() 来 解 注册 ? 
式 难 委 效 。 


23 class Observer 


24 渤 

25 // 同 前 

26 void observe(Observable* s) { 
27 s->reglster_(this): 

28 subject_ = S; 

29 } 

30 

31 virtual ~Observer() f 

32 subject_->unregister(thisy): 
33 } 

34 

35 Observable* subject_:; 


36 于 


我 们 试看 让 Observer 的 析 构 函数 去 调用 unregister(this)， 这 里 有 两 个 
race conditions。 其 一 : 站 32 如 何 得 知 subject_ 还 活 独 ? 其 二 : 整 算 
subject_ 指 癌 茶 个 永久 存在 的 对 象 ， 那 么 还 是 险象 环 生 : 


1. 线程 A 执 行 到 L32 之 前 ， 还 没有 来 得 及 unregister 本 对 象 。 
2. 线程 B 执 行 到 L17，x 正 好 指 回 是 L32 正 在 析 构 的 对 象 。 


这 时 茧 剧 又 发 生 了 ， 既 然 x 所 指 的 Observer 对 象 正 在 析 构 ， 调 用 它 的 
任何 非 静 态 成 员 困 数 都 是 不 安全 的 ， 何 况 是 虚 图 数 :。 更 粮 糕 的 是 ， 
Observer 古 个 基 类 ， 执 行 到 L32 时 ， 派 生 类 对 象 已 经 析 构 挥 了， 这 时 候 
整个 对 象 处 于 将 死 未 死 的 状态 ，core dump 丈 怕 是 最 焉 运 的 结果 。 

这 些 race condition 似 乎 可 以 通过 加 锁 来 解决 ， 但 在 哪儿 加 锁 ， 谁 持 
有 这 些 互 帮 锁 ， 叉 似乎 不 是 那么 显而易见 的 。 要 是 有 什么 活着 的 对 象 能 
帮 才 我 们 就 好 了 ， 它 提供 一 个 isAlive(0) 之 类 的 程序 函数 ， 告 诉 我 们 那个 
对 象 还 在 不 在 。 可 惜 指针 和 引用 都 不 是 对 象 ， 它 们 是 内 建 类 型 。 


1.5 原始 指针 有 何不 区 


指向 对 象 的 原始 指针 (raw pointer) 是 坏 的 ， 尤 其 当 暴 露 给 别 的 线 
程 时 。Observable 应 当 保 存 的 不 是 原始 的 Observer*， 而 是 别 的 什么 东 
西 ， 能 分 辨 Observer 对 象 是 人 否 存 活 。 类 似 地 ， 如 果 Observer 要 在 析 构 函 
数 里 解 注 册 ( 这 虽然 不 能 解 记 表面 提 到 的 race condition， 但 是 在 析 构 项 
数 里 打扫 战场 还 是 应 该 的 ) ， 那 么 subject_ 的 类 型 也 不 能 是 原始 的 
Observable*., 

有 经 验 的 C++ 程 序 员 或 许 会 想到 用 智能 指针 。 没 错 ， 这 是 正道 ， 但 
也 没 那么 简单 ， 有 些 关 穿 需 要 注意 。 这 两 处 直接 使 用 shared_ptr 是 不 行 
的 ， 会 形成 循环 引用 ， 直 接 造 成 资源 泄漏 。 别 看 乱 ， 后 文 会 一 一 讲 到 。 


空 蕊 指针 


有 两 个 指针 p1 和 p2， 指 同 堆 上 的 同一 个 对 象 Object，p1 和 Pp2 位 于 不 
同 的 线程 中 (图 1-1 的 左 图 ) 。 假 设 线程 A 通 过 p1 指 针 将 对 象 销毁 了 〔〈 尽 
党 把 p1 置 为 了 JNULL) ， 那 p2 束 成 了 衬 巧 指针 《图 1-1 的 右 图 ) 。 这 是 一 
种 典型 的 C/C++ 内 存 错误 。 





图 1-1 
要 和 想 安 全 地 销毁 对 象 ， 节 好 在 别人 《线程 ) 都 看 不 到 的 情况 下 ， 偷 
(这 正 是 垃圾 回收 的 原理 ， 所 有 人 都 用 不 到 的 东西 一 定 是 二 
夏 。 ) 


一 个 “解决 办 法 ” 
一 个 解决 空 悬 指针 的 办 法 是 ， 引 入 一 层 间接 性 ， 让 p1 和 p2 所 指 的 对 


象 永 从 有 效 。 比如 图 1-2 中 的 proxy 对 象 ， 这 个 对 象 ， 持 有 一 个 指 同 
Object 的 指针 。 《从 C 语 言 的 角度 ，p1 和 p2 都 是 二 级 指针 。 ) 





图 1-2 


当 销 毁 Object 之 后 ，proxy 对 象 继 续 存 在 ， 其 值 变 为 0 〈 见 图 1-3) 。 
而 p2 也 没有 变 成 空 蕊 指针 ， 它 可 以 通过 但 看 proxy 的 内 容 来 判断 Object 古 
人 军 还 活 看 。 


pl=0 z 
| 人 
、 Object p 


图 1-3 


要 线程 安全 地 释放 Object 也 不 是 那 么 容易 ，race condition 依 旧 存 
人 在。 比如 p2 看 第 一 眼 的 时 候 proxy 个 是 零 ， 正 准备 去 调用 Object 的 成 员 也 





数 ， 期 间 对 象 已 经 被 p1 给 销毁 了 。 
问题 在 于 ， 何 时 释放 proxvy 指 针 呢 ? 


一 个 更 好 的 解决 办 法 

为 了 安全 地 释放 proxy， 我 们 可 以 引入 引用 计数 《reference 
counting) ， 再 把 pl 和 p2 都 从 指针 变 成 对 象 spl1 和 sp2。proxy 现 在 有 两 个 
成 员 ， 指 针 和 计数 器 。 


1， 一 开始 ， 有 两 个 引用 ， 计 数值 为 2 ( 见 图 1-4) 。 





图 1-4 
2. spl 术 构 了 ，3 引 用 计数 的 值 减 为 1〈 见 图 1-5〉。 





polnter 





图 1-5 


3. sp2 也 析 构 了 ，35| 用 计数 降 为 0， 可 以 安全 地 销 贤 proxy 和 Object 
了 了 《 见 图 1-6) 。 





慢 看 ! 这 不 正 是 引用 计数 型 留 能 指针 吗 ? 
一 个 万 能 的 解决 方案 


引入 另外 一 层 间接 性 (another layer of indirection ) *。， 用 对 象 来 管 
理 共 旦 资源 《如 条 把 Object 看 作 资 源 的 话 ) ， 亦 即 handle/body 惯 用 技法 
(idiom) 。 当 然 ， 编 写 线 程 安全 、 高 效 的 引用 计数 handle 的 难 虚 非 几 ， 
作为 一 名 谦卑 的 程序 员 :， 用 现成 的 库 束 行 。 万 苹 ，C++ 的 TR1 标 准 库 里 
提供 了 一 对 “ 神 兵 利器 >”， 可 助 我 们 完美 解决 这 个 头疼 的 问题 。 


1.6 ”神器 shared_ptr/weak_ptr 


shared_ptr 是 引用 计数 型 留 能 指针 ， 在 Boost 和 std::trl 里 均 提 供 ， 也 
锌 纳入 C++11 标 准 库 ， 现 代 主 流 的 C++ 编 详 占 部 能 人 很 好 地 文 持 。 
shared_ptr<T> 是 一 个 类 模板 (class template) ， 它 只 有 一 个 类 型 参数 ， 
使 用 起 来 很 方便 。 引 用 计数 是 上 自动 化 资源 管理 的 第 用 手法 ， 当 引用 计数 
降 为 0 时 ， 对 象 〈 资 源 ) 即 被 销毁 。weak_ptr 也 是 一 个 引用 计数 型 智能 
指针 ， 但 是 它 不 增加 对 象 的 引用 次 数 ， 即 弱 (weak〉 引用 。 
shared_ptr 的 基本 用 法 和 语意 请 参考 手册 或 教程 ， 本 书 从 略 。 谈 几 


“shared_ptr 控 制 对 象 的 生命 期 。shared_ptr 是 强 引 用 (想象 成 用 铁丝 
绑 住 推 上 的 对 象 ) ， 只 要 有 一 个 指 同 x 对 象 的 shared_ptr 存 在 ， 该 X 对 象 
束 丰 会 析 构 。 当 指 问 对 和 象 x 的 最 后 一 个 shared_ptr 析 构 或 reset() 的 时 候 ，x 
你 证 会 补 销 到 。 

-weak_ptr 不 控制 对 象 的 生命 期 但 是 它 知 道 对 象 是 否 还 活 看 (想象 
成 用 棉线 轻 轻 挫 住 堆 上 的 对 象 )。 如 果 对 象 还 活 看 ， 那 么 它 可 以 提升 

(promote ) 为 有 效 的 shared_ptr; 如 果 对 象 已 经 死 了 ， 提 升 会 失败 ， 运 

回 一 个 空 的 shared_ptr。“ 提 升 / lock()” 行 为 是 线程 安全 有 的 。 

:Shared_ptrweak_ptr 的 “计数 ?在 主流 平台 上 是 原子 操作 ， 没 有 用 
锁 ， 性 能 不 俗 。 

“shared_ptr/weak_ptr 的 线程 安全 级 别 与 std::string 和 STL 容 右 一 样 ， 
后 面 还 会 讲 。 


志 宕 在 《垃圾 收集 机 制 批判 》: 中 一 针 见 血 地 点 出 乔 能 指针 的 优 
努 :“C++ 利 用 鲁能 指针 达成 的 效 末 是 : 一 旦 汞 对 象 不 再 锌 引用 ， 系 统 


刻不容缓 ， 立 刻 回收 内 人 存 。 这 通 币 及 生 在 关键 任务 完成 后 的 清理 《〈clean 
up 时期， 不 会 影响 天 键 任 务 的 实时 性 ， 同 时 ， 内 存 里 所 有 的 对 象 部 是 
有 用 的 ， 绝 对 没有 垃圾 罕 占 内 和 存 。” 


1.7 插曲: 系统 地 避免 各 种 指针 铬 误 


我 同意 备 宕 说 的 :大 部 分 用 C 写 的 上 规模 的 软件 都 存在 一 些 内 存 方 
面 的 错误 ， 需 要 花费 大 量 的 精力 和 时 间 把 产品 稳定 下 来 。 ”举例 来 说 ， 
就 像 Nginx 这 样 成 熟 且 广 泛 使 用 的 C 语 言 产 品 都 会 不 时 暴露 出 低级 的 内 存 

音 误 2。 

内 存 方面 的 问题 在 C++ 里 很 容易 解决 ， 我 第 一 次 也 是 最 后 一 次 见 到 
别人 的 代码 里 有 内 存 汇 漏 是 在 2004 年 实习 那 会 儿 ， 我 自己 写 的 C++ 程序 
从 来 没有 出 现 过 内 存 方 面 的 问题 。 

C++ 里 可 能 出 现 的 内 存 问 题 大 致 有 这 么 几 个 方面 : 


缓冲 区 洪 出 (buffer overrun ) 。 

罕 仍 指针 / 野 指 针 。 

重复 释放 (double delete) 。 

内 存 汇 漏 (memory leak) 。 

不 配对 的 new[]/delete。 

内 存 碎 上 请 (memory fragmentation ) 。 


OO UI 上 JU ~ 


正确 使 用 入 能 指针 能 很 轻易 地 解决 前 面 5 个 问题 ， 解 决 第 6 个 问题 需 
要 别 的 思路 ， 我 会 在 89.2.1 和 8A.1.8 探 讨 。 


1. 绥 冲 区 洲 出 : 用 std::vector<char>/std::string 或 日 己 编写 Buffer 
class 来 管理 组 冲 区， 目 动 记 住 用 绥 剖 区 的 长 度 ， 并 通过 成 员 函 数 而 不 是 
傈 指针 来 修改 缓冲 区 。 

2. 衬 悬 指针 / 时 指针 : 用 shared_ptyvweak_ptr， 这 正 是 本 章 的 主 
懒 。 


3. 重复 释放 : 用 scoped_ptr， 只 在 对 象 析 构 的 时 候 释 放 一 次 。 
4. 内 存 汇 漏 : 用 scoped_ptr， 对 象 析 构 的 时 候 目 动 释放 内 人 存 。 
5. 不 配对 的 new[]/delete: 把 new[] 统 统 蔡 换 为 


std::vector/scoped._ array。 


正确 使 用 上 面 近 人 到 的 这 几 种 鲁能 指针 并 不 难 ， 其 难度 大 概 比 学 习 使 


用 std:: vector/std::list 这 些 标准 库 组 件 还 要 小 ， 与 std::string 帮 不 多 ， 只 要 
化 一 周 的 时 间 去 适应 它 ， 怠 能 信 手 拓 来 。 我 认为 ， 在 现代 的 C++ 程序 中 
一 般 不 会 出 现 delete 语 句 ， 资 源 (包括 复 林 对 象 本 里 ) 都 是 通过 对 象 

( 乔 能 指针 或 容 右 〉 来 管理 的 ， 不 需要 程序 员 还 为 此 操心 。 

在 这 几 种 错误 里 边 ， 内 存 泄 漏 相 对 人 危害 性 较 小 ， 因 为 它 只 是 值 了 东 
西 不 归还 ， 程 序 功能 在 一 段 时 间 内 还 算 正 钊 。 其 他 如 缓冲 区 洪 出 或 重复 
释放 等 致命 错误 可 能 会 造成 安全 性 〈security 和 data safety) 方面 的 严重 
后 未 。 

需要 注意 一 点 : scoped_ptr/shared_ptr/weak_ptr 都 是 值 语意 ， 要 么 是 
栈 上 对 象 ， 或 是 其 他 对 象 的 直接 数据 成 员 ， 或 是 标准 库容 颖 里 的 元 系 。 
几乎 不 会 有 下 和 面 这 种 用 法 : 


shared_ptr<Foo>* pFoo = new shared_ptr<Foo>(new Foo); // WRONG semantic 


还 机 注意， 如 末 这 几 种 镶 能 指针 是 对 象 x 的 数据 成 员 ， 而 它 的 模板 
参数 TIT 是 个 incomplete 类 型 ， 那 么 x 有 的 析 构 函数 不 能 是 默认 的 或 内 联 的 ， 
必须 在 .cpp 文 件 里 边 显 式 定义 ， 人 耕 则 会 有 编译 错 或 运行 错 原因 见 
§10.3.2) 。 


1.8 应 用 到 Observer 上 


既然 通过 weak_ptr 能 探查 对 象 的 生死 ， 那 么 Observer 模 式 的 苋 态 条 
件 就 很 容易 解决 ， 只 要 让 Observable 保 存 Wweak_ptr<Observer> 即 可 : 


recipes/thread/test/OQbserver safe.cc 
39 Class OQbservable // not 1006% thread safe! 


a0 { 

41 public: 

42 void register_(weak_ptr<Observer> x); // 参数 类 型 可 用 const weak_ptr<Observer>& 
43 // void unregister(weak_ptr<0bserver> x); // 不 需要 忠 

44 void notifyobpserversty ; 

45 

46 private: 

47 mutable MutexLock mutex_: 

48 std: :vector<weak_ptr<Qbserver> > Observers_， 

49 typedef std: :Vector<weak_ptr<observer> >::iterator Iterator ; 

5 

51 

52 vold Observable: :notifyQbservers() 

53 { 

54 MutexLockGuard lock(mutex_); 

55 Tterator it = observers_.begin(); // Iterator 的 定义 见 第 49 行 
56 while (it 1!= observers_.endO)) 

57 { 

58 shared_ptr<Observer> obj(it->lock()); ”// 尝试 提升 ， 这 一 步 古 线程 安全 的 
59 if (obj) 

60 { 

61 // 提升 成 功 ， 现 在 引用 计数 值 至 少 为 2 ( 想 想 为 什么 ?) 

62 obj->update(Y: // 没有 竞 配 条 件 ， 因 为 obj 在 栈 上 ， 对 象 不 可 能 在 本 作用 域内 撒 虎 
63 ++1t; 

64 } 

65 else 

66 { 

67 1// 对 得 已 经 销 如 ， 从 容 伦 中 拿 挥 weak_ptr 

68 it = observers_.erase(it): 

69 } 

70 

71 } 


recipes/thread/test/Qbserver safe.cc 


就 这 么 简单 。 前 文 代 人 码 (3) 处 (此 处 L17) 的 竞 态 条 件 已 经 弥补 了 。 
思考 : 如 果 把 L48 改 为 vector<shared_ptr<Observer> 之 observers_;， 会 有 
什么 后 果 ? 


解雇 了 吗 


把 Observer* 各 蔡 换 为 weak ea 部 分 解决 了 Observer 模 式 的 
线程 安全 ， 但 还 有 以 下 几 个 疑点 。 这 些 问题 留 到 本 章 81.14 中 去 探讨 ， 
每 个 都 是 能 解决 的 。 

侵入 性 ”强制 要 求 Observer 必 须 以 shared_ptr 来 官 理 。 

不 是 完全 线程 安全 Observer 的 析 构 函数 会 调用 subject_- 
>Unregister(this)， 万 一 Subject_ 已 经 不 复 存 在 了 呢 ? 为 了 解决 它 ， 义 要 求 
Observable 本 吴 是 用 Shared_ptr 管 理 的 ， 并 且 subject_ 多 半 是 个 


weak_ptr<Observabjle>。 

锁 争 用 (lock contention ) ” 即 Observable 的 三 个 成 员 郴 数 都 用 了 
互 斥 喜来 同步 ， 这 会 造成 register_ 0 和 unregister0) 等 待 notifyObservers0)， 
而 后 者 的 执行 时 间 是 无 上 限 的 ， 因 为 它 同 步 回 调 了 用 户 提 供 的 update() 
函数 。 我 们 希望 register_ 0 和 unregister0 的 执行 时 间 不 会 超过 某 个 固定 的 
上 限 ， 以 免 殊 及 无 译 群 众 。 

死 锁 “万 一 L62 的 updateO 虚 函数 中 调用 了 (un)register 呢 ? 如果 
mutex_ 是 不 可 重 入 的 ， 那 么 会 死 锁 ; 如 果 mnutex_ 是 可 重 入 的 ， 程 序 会 面 
| 俐 和 欠 代 器 失效 〈core dump 是 最 好 的 结果 ) ， 因 为 vector observers_ 在 通 
历 期 间 被 意外 地 修改 了 。 这 个 问题 乍 看 起 来 似乎 没有 解决 办 法 ， 除 非 在 
文档 里 做 要 求 。 (一 种 办 法 是 : 用 可 重 入 的 mutex_ ， 把 容 需 换 为 
std:list， 并 把 ++it 往 前 挪 一 行 。) 

我 个 人 倾向 于 使 用 不 可 重 入 的 mutex， 例 如 Pthreads 默 认 提 供 的 那 
个 ， 因 为 “要 求 mutex 可 和 军 入 ”本 里 往往 意味 看 设计 上 出 了 问题 

(82.1.1) 。Java 的 intrinsic lock 是 可 重 入 的 ， 因 为 要 允许 synchronized 方 
法 相互 调用 (派生 类 调用 基 类 的 同名 synchronized 方 法 ) ， 我 党 得 这 也 


是 无 从 之 举 。 
1.9 ”再 论 shared_ptr 的 线程 安全 


虽然 我 们 们 shared_ptr 来 实现 线程 安全 的 对 象 释 放 ， 但 是 shared_ptr 
本 里 不 是 100% 线 程 安全 的 。 它 的 引用 计数 本 里 是 安全 且 无 锁 的 ， 但 对 
象 的 读 写 则 不 是 ， 因 为 shared_ptr 有 两 个 数据 成 员 ， 读 写 操作 不 能 原子 
化 。 根 据 文档 ，shared_ptr 的 线程 安全 级 别 和 内 建 类 型 、 标 准 库 容 右 、 
std::string 一 样 ， 即 : 


:一 个 Shared_ptr 对 象 实体 可 被 多 个 线程 同时 谈 取 ; 
站 :两 个 shared_ptr 对 象 实 体 可 以 个 两 个 线程 同时 写 入 ,“ 析 构 ” 算 写 操 
.如果 要 从 多 个 线程 读 写 同一 个 shared_ptr 对 象 ， 那 么 需要 加 锁 。 
请 注意 ， 以 上 是 shared_ptr 对 象 本 喘 的 线程 安全 级 别 ， 不 是 它 管理 
的 对 象 的 线程 安全 级 别 。 
要 在 多 个 线程 中 同时 访问 同一 个 shared_ptr， 正 确 的 做 法 是 用 mutex 
保护 : 


MutexLock mutex: // No need for ReaderWriterLock 
shared_ptr<Foo> globalPtr: 


// 我 们 的 任务 是 把 globalPtr 安全 地 传 给 doit 人 (0 
vold doit(const shared_ptr<Foo>& pFoo).; 

lobalPtr 能 被 多 个 线程 看 人 到， 那么 它 的 读 写 需要 加 锁 。 注 意 我 们 不 
必用 读 写 锁 ， 而 只 用 最 徐 单 的 互 斥 锁 ， 这 是 为 了 性 能 考虑 。 因 为 临界 区 
非常 小 ， 用 互 斥 锁 也 不 会 阻塞 并 发 读 。 

为 了 搁 贝 globalPtr， 需 要 在 谈 取 筷 的 时 候 加 锁 ， 即 : 


void read() 
shared_ptr<Foo> LocalPtr; 


MutexLockGuard lock(mutex): 
LocalPtr = globalPtr: // read globalPtr 


} 
// Use localPtr since here， 读 写 localPtr 也 无 须 加 伸 
doit(]localPtr): 


} 
写 人 的 时 候 也 要 加 俩 : 


void writer ) 


{ : 
shared_ptr<Foo> newPtr(new Foo): // 注意 ， 对 和 象 的 创建 在 临界 区 之 外 


MutexLockGuarg lock(mutex): 
globalPtr = mewPtr; // write to globalPtr 


} 
// use newPtr since here， 读 写 newPtr 无 须 加 锁 
doit (newPtr ): 


注意 到 上 面 的 read0 和 writeO0 在 临界 区 之 外 都 疫 有 再 芒 问 globalPtr， 
而 十 用 了 一 个 指 同 同一 Foo 对 象 的 栈 上 shared_ptr local copy。 下 和 面 会谈 
到 ， 只 要 有 这 样 的 local copy 存 在 ，shared_ptr 作 为 函数 参数 传递 时 不 必 
复制 ， 用 reference to const 作 为 参数 类 型 即 可 。 夯 外 注意 到 上 面 的 new 
Foo 是 在 临界 区 之 外 执行 的 ， 这 种 写法 通 彰 比 在 临界 区 内 与 
globalPtr.reset(new Foo) 要 好 ， 因 为 缩短 了 临界 区 长 度 。 如 果 要 销毁 对 
象 ， 我 们 固然 可 以 在 临界 区 内 执行 globalPtr.reset()， 但 是 这 样 往往 会 让 
对 象 析 构 发 生 在 临界 区 以 内 ， 增 加 了 临界 区 的 长 上 度 。 一 种 改进 办 法 是 像 


上 面 一 样 定义 一 个 localPttr， 用 它 在 临界 区 内 与 globalPtr 交 换 

(swap())〉 ， 这 样 能 保证 把 对 象 的 销毁 推迟 到 临界 区 之 外 。 练 习 : 在 
writeO 国 数 中 ，globalPtr 二 newPtr; 这 一 句 有 可 能 会 在 临界 区 内 销毁 原来 
globalPtr 指 癌 的 Foo 对 象 ， 设 法 将 销毁 行为 移出 临界 区 。 


1.10 ”shared_ptr 技 术 与 陷阱 


意外 延长 对 象 的 生命 期 ”shared_ptr 是 强 引 用 〈“ 铁 丝 ? 绑 的 ) ， 只 
要 有 一 个 指 网 xX 对 象 的 Shared_ptr 存 在 ， 充 对象 殉 不 会 析 构 。 而 shared_ptr 
义 是 允许 找 贝 构造 和 赋值 的 《否则 引用 计数 就 无 音义 了 )〉 ， 如 果 不 小 心 
鞍 留 了 一 个 拷贝 ， 那 么 对 象 束 永世 长 存 了 。 例 如 前 面 提 到 如 果 把 此 处 
L48 observers_ 的 类 型 改 为 vector<shared ptr<Observer> >， 那 么 除非 手 
动 调用 unregister0， 人 否则 Observer 对 象 永远 不 会 析 构 。 即 便 它 的 析 构 图 
数 会 调用 unregister()， 但 是 不 去 unregister() 束 不 会 调用 Observer 的 析 构 也 
数 ， 这 变 成 了 鸡 与 乍 的 问题 。 这 也 是 Java 内 存 浴 汤 的 弟 见 原因 。 

另外 一 个 出 错 的 可 能 是 boost::bind， 因 为 boost::bind 会 把 实 参 抄 贝 一 
份 ， 如 果 参 数 是 个 shared_ptr， 那 么 对 象 的 生命 期 就 不 会 短 于 
boost::function 对 象 : 


class Foo 


vold doit(); 


shared_ptr<Foo> pFfoo(new Foo); 
boost::function<void()> func = boost::bindr&Foo::doit, pFfoo); // long life foo 
这 里 func 对 象 持 有 了 shared_ptr<Foo> 的 一 份 氨 贝 ， 有 可 能 会 在 不 经 
意 间 延长 倒数 第 二 行 创建 的 Fo0o 对 象 的 生命 期 。 
函数 参数 ”因为 要 修改 引用 计数 而且 找 贝 的 时 低 通 第 要 加 
锁 ) ，shared_ptr 的 找 贝 开销 比 找 贝 原始 指针 要 高 ， 但 是 十 要 找 贝 的 时 
候 并 不 多 。 多 数 情况 下 它 可 以 以 const reference 方 式 传递 ， 一 个 线程 只 需 
要 在 最 外 层 函 数 有 一 个 实体 对 象 ， 之 后 都 可 以 用 const reference 来 使 用 这 
个 shared_ptr。 例 如 有 几 个 函数 都 要 用 到 Foo 对 象 : 


void save(const shared_ptr<Foo>& PFoo) ; A:/: pass by const reference 
vold validateAccount(const Foo& foo); 


bool validate(const shared_ptr<Foo>& pFoo) // pass by const reference 
{ 
validateAccount(*pFoo): 
i 
+ 
那么 在 通 当 情况 下 ， 我 们 可 以 传 弟 引用 (pass by const 


reference) : 
void onMessage(const string& msg) 


shared_ptr<Foo> pFoo(new Foo(msg)); // 只 要 在 最 外 层 持 有 一 个 实体 ， 安 全 不 成 问题 
if (validate(pFoo)) { // 没有 拷 内 pFoo 
save (pFoo): // 没有 拷贝 pFoo 
} 
} 
放 照 这 个 规则 ， 基 本 上 不 会 遇 到 反复 找 贝 shared_ptr 导 致 的 性 能 问 
题 。 故 外 由 于 pFoo 古 栈 上 对 象 ， 个 可 能 侯 列 的 线程 看 人 到， 那么 读 取 始 作 
是 线程 安全 的 。 
析 构 动作 在 创建 时 被 捕获 “这 是 一 个 非常 有 用 的 特性 ， 这 意味 
着: 


` 虚 术 构 不 再 是 必需 有 的 。 

“shared_ptr<void> 可 以 持 有 任何 对 象 ， 而 且 能 安全 地 释放 。 

“shared_ptr 对 象 可 以 安全 地 跨越 模块 边界 ， 比 如 从 DLL 里 返回 ， 而 
不 会 造成 从 模块 A 分 配 的 内 存在 模块 B 里 被 释放 这 种 错误 。 

二进制 兼容 性 ， 即 便 Foo 对 象 的 大 小 变 了 ， 那 么 旧 的 客户 代码 仍然 
可 以 使 用 新 的 动态 库 ， 而 无 顷 重 新 编 详 。 前 所 是 Foo 的 头 文 件 中 不 出 现 
访问 对 象 的 成 员 的 inline 函 数 ， 并 且 Foo 对 象 的 由 动态 库 中 的 Factory 构 
造 ， 返 回 其 shared_ptr。 


析 构 动作 可 以 定制 。 


最 后 这 个 特性 的 实现 比较 巧妙 ， 因 为 shared_ptr<T> 只 有 一 个 模板 参 
数 ， 而 “ 析 构 行为 ”可 以 是 图 数 指针 、 仿 困 数 〈functor) 或 者 其 他 什么 东 
西 。 这 是 泛 型 编程 和 面 回 对 象 编程 的 一 次 完美 结合 。 有 兴趣 的 恋 者 可 以 
参考 Scott Meyers 的 文章 2。 这 个 扩 术 在 后 面 的 对 象 池 中 还 会 用 到 。 

析 构 所 在 的 线程 ”对 象 的 析 构 是 同步 的 ， 当 最 后 一 个 指 同 X 的 
shared_ptr 离 开 其 作用 域 的 时 候 ，x 会 同时 在 同一 个 线程 析 构 。 这 个 线程 


不 一 定 是 对 象 诞 生 的 线程 。 这 个 特性 是 把 双 刃 剑 : 如 果 对 象 的 析 构 比较 
耗 时 ， 那 么 可 能 会 拖 慢 关键 线程 的 速度 〈 如 果 最 后 一 个 shared_ptr 引 发 
的 析 构 发 生 在 关键 线程 ) ; 同时 ， 我 们 可 以 用 一 个 单独 的 线程 来 专门 做 
析 构 ， 通 过 一 个 BlockingQueue<shared_ptr<void> > 把 对 象 的 析 构 都 转移 
到 那个 专用 线程 ， 从 而 解放 关键 线程 。 

现成 的 RAII handle “我 认为 RAI (资源 获 取 即 初始 化 ) 是 C++ 语 
言 区别 于 其 他 所 有 编程 语言 的 最 重要 的 特性 ， 一 个 不 懂 RAI 的 C++ 程序 
员 不 是 一 个 合格 的 C++ 程 序 员 。 初 学 C++ 的 教条 是 “new 和 delete 要 配对 ， 
new 了 之 后 要 记 大 delete”; 如 果 使 用 RAIIcs 给， 要 改 成 “每 一 个 明确 的 
资源 配置 动作 〈 例 如 new) 都 应 该 在 里 一 语句 中 执行 ， 并 在 该 语句 中 尽 
刻 将 配置 获得 的 资源 交 给 handle 对 象 ( 如 shared_ptr) ， 程 序 中 一 般 不 出 
现 delete”。shared_ptr 是 赎 理 共 孚 资源 的 利 匿 ， 需 要 注意 避免 循环 引用 ， 
通常 的 做 法 是 owner 持 有 指 问 child 的 shared_ptr，child 持 有 指 问 owner 的 
weak_ptr。 


1.11 对 象 池 


假设 有 Stock 类 ， 代 表 一 只 股票 的 价格 。 每 一 只 股票 有 一 个 唯一 的 
字符 串 标 识 ， 比 如 Google 的 key 是 "NASDAQ:GOOG"，IBM 
是 "NYSE:IBM"。Stock 对 象 是 个 主动 对 象 ， 它 能 不 断 获 取 新 价格 。 为 了 
节省 系统 资源 ， 同 一 个 程序 里 边 每 一 只 出 现 的 股票 只 有 一 个 Stock 对 
象 ， 如 果 多 处 用 到 同一 只 股票 ， 那 么 Stock 对 象 应 该 被 共享 。 如 果 某 一 
只 股票 没有 再 在 任何 地 方 用 到 ， 其 对 应 的 Stock 对 象 应 该 析 构 ， 以 释放 
资源 ， 这 隐 售 了 “引用 计数 ”。 

为 了 达到 上 述 要 求 ， 我 们 可 以 设计 一 个 对 象 闻 StockFactorys。 它 的 
接口 很 简单 ， 根 据 key 返 回 Stock 对 象 。 我 们 已 经 知道 ， 在 多 线程 程序 
中 ， 既 然 对 象 可 能 入 销 毁 ， 那 么 返回 Shared_ptr 是 合理 的 。 目 然 地 ， 我 
们 写 出 如 下 代码 〈 可 惜 是 错 的 ) 。 


// version 1: questionable code 
class StockFactory : boost::noncopyable 


{ 
public: 


shared_ptr<Stock> get(const string& key); 


private: 
mutable MutexLock mutex_; 
std: :map<string, shared_ptr<Stock> > stocks_.; 


get() 的 人 逻辑 很 简单 ， 如 果 在 stocks_ 里 找到 了 key， 束 返回 
stocks_[key]; 人 否则 新 建 一 个 Stock， 并 存 入 stocks_[key]。 

细心 的 旋 者 或 许 已 经 及 现 这 里 有 一 个 问题 ，Stock 对 象 永远 不 会 家 
销毁 ， 因 为 map 里 存 的 是 shared_ptr， 始 终 有 “铁丝 ? 绑 者 。 那 么 或 许 应 访 
仿照 前 面 Observable 那 样 存 一 个 weak_ptr? 比如 


// // version 2: 数据 成 员 修改 为 std::map<string，weak_ptr<Stock> > stocks_: 
shared_ptr<Stock> StockFactory::get(const strine& key) 


shared_ptr<Stock> pstock: 
MutexLockGuard lock(mutex_): 
weak_ptr<Stock>& wkStock = stocks_[key]; // 如 果 key 不 存在 ， 会 默认 构造 一 个 
pStock = wkStock.lock(; // 尝试 把 “棉线 ”提升 为 ”和 铁 经 
if (lpStock) 1{ 
pStock.reset(new Stock(key)):;: 
wkStock = pStock; // 这 里 更 新 了 stocks_[key]， 注 意 wkStock 是 个 引用 


return pstock; 


这 么 做 国 然 Stock 对 象 是 销 贤 了 了， 但 是 程序 却 出 现 了 轻微 的 内 存 淮 
疡 ， 为 什么 ? 

为 stocks_ 的 大 小 只 增 不 减 ，stocks_.size0 是 曾经 存活 过 的 Stock 对 
象 的 总 数 ， 即便 活 的 Stock 对 象 数 | 降 为 0。 或 许 有 人 认为 这 不 算 泄 漏 ， 
因为 内 存 并 不 是 彻底 遗失 不 能 访问 了 ， 而 是 饭菜 个 标准 库容 右 占 用 了 。 
我 认为 这 也 算 内 存 油 漏 ， 毕 竟 是 “战场 "没有 打扫 干 疤 。 

其 实 ， 考 虑 到 世界 上 的 股票 数目 是 有 限 的 ， 这 个 内 存 不 会 一 直 洒 漏 
下 去 ， 大 不 了 把 每 只 股票 的 对 象 都 创建 一 届 ， 估 计 洪 漏 的 内 存 也 只 有 几 
浪 字 市 。 如 果 这 是 一 个 其 他 类 型 的 对 象 池 ， 对 象 的 key 的 集合 不 是 封闭 
的 ， 内 存 束 会 一 百 泄漏 下 去 。 

解决 的 办 法 是 ， 利 用 shared_ptr 的 定制 析 构 功能 。shared_ptr 的 构造 
函数 可 以 有 一 个 额外 的 模板 类 型 参数 ， 传 入 一 个 函数 指针 或 仿 函 数 d， 


在 析 构 对 象 时 执行 d(ptr)， 其 中 ptr 古 shared_ptr 保 存 的 对 象 指针 。 


shared_ptr 这 么 设计 并 不 是 多 余 的 ， 因 为 反正 要 在 创建 对 象 时 捕获 释放 
动作 ， 始 终 需 要 一 个 bridge。 


template<class Y，ClLass D> shared_ptr::shared_ptr(Y* p, 9 
template<class Y, class D> voild shared_ptr::reset(Y* p, D d) 
// 注意 Y 的 类 型 可 能 与 T 不 同 ， 这 是 合法 的 ， 只 要 Yx 能 风 式 转 撞 为 Tw 


那么 我 们 可 以 利用 这 一 点 ， 在 析 构 Stock 对 象 的 同时 清理 stocks_。 


/i version 3 
class StockFactory : boost: :noncopyable 


// 在 get(y 中 ， 将 pStock.reset(new Stock(keyY): 改 为 : 
/i pSstock.reset(new Stock(key), 


/i boost: :bind(&StockFactory: :deleteStock, this, _1)); /A/ x*** 
private: 
vold deletestock(Stock* stock) 


if (stock) { 
MutexLockGuard lock(mutex_): 
stocks_.erase(stock->key()); 


} 

delete stock: /YA sorry, I lied 
} 
At: assuming StockFactory lives longer than all Stock's ... 
i 


这 里 我 们 同 pStock.resetO 传 递 了 第 二 个 参数 ， 一 个 boost::function， 

它 在 析 构 Stock* p 时 调用 本 StockFactory 对 象 的 deleteStock 成 员 函 数 。 

党 惕 的 读者 可 能 已 经 友 现 问题 ， 那 束 是 我 们 把 一 个 原始 的 
StockFactory this 指 针 保 存在 了 boost::function 里 (*** 人 处 ) ， 这 会 有 线程 
安全 问题 。 如 果 这 个 StockFactory 先 于 Stock 对 象 析 构 ， 那 么 会 core 
dump。 正如 Observer 在 术 构 函数 里 去 调用 Observable::unregister()， 而 那 
ns 象 可 能 已 经 不 存在 了 。 

当然 这 也 是 能 解决 的 ， 要 用 到 $1.11.2 介 绍 的 弱 回 调 技 术 。 


1.11.1 enable shared from this 


StockFactory::get() 把 原始 4 | 针 this 保 存 到 了 boost::function 中 (*** 
处 ) ， 如 果 StockFactory 的 生命 期 比 Stock 短 ， 那 么 Stock 析 构 时 去 回调 
StockFactory::deleteStock 束 会 core dump。 人 似乎 我 们 应 访 祭 出 惯用 的 
shared_ptr 大 法 来 解决 对 象 生命 期 问题 ， 但 是 StockFactory::get() 本 里 是 个 


成 员 国 数 ， 如 何 获 得 一 个 指 同 当前 对 象 的 shared_ptr<StockFactory> 对 象 


呢 ? 

有 办 法 ， 用 enable_shared from this。 这 是 一 个 以 其 派生 类 为 模板 类 
型 实 参 的 基 类 模板 *， 继 承 它 ，this 指 针 就 能 变 身 为 shared_ptr。 
class StockFactory : public boost::enable_shared_from_this<StockFactory>, 

boost: :noncopyable 

[下 

为 了 使 用 shared_from _this(), StockFactory 不 能 是 stack object， 必 须 
是 heap object 且 由 shared_ptr 管 理 其 生命 期 ， 即 : 


shared ptr<StockFactory> stockFactory(new StockFactory): 


万 事 俱 备 ， 可 以 让 this 摇 号 一 变 ， 化 为 shared_ptr<StockFactory> 了 。 


1 Verslon 4 
shareqd_ptr<sStock> stockFactory::get(const string& key) 


{ 


/:/ change 

// pstock.reset(new Stock(key), 

/i boost::bind(&StockFactory: :deleteStock, this, _1)); 
/i to 


pStock.reset(new Stock(key), 
boost::bind(&StockFactory: :deleteSstock, 
shared_from_this(), 
1)): 
FF 
这 样 一 来 ，boost::function 里 保存 了 一 份 shared_ptr<StockFactory>， 
可 以 保证 调用 StockFactory::deleteStock 的 时 候 那 个 StockFactory 对 象 还 活 


看 。 

注意 一 点 ，shared_from_this() 不 能 在 构造 多 将 里 调用 ， 因为 在 构造 
StockFactory 的 时 候 ， 它 还 没有 被 交 给 shared_ptr 接 管 。 

最 后 一 个 问题 ，StockFactory 的 生命 期 似乎 梓 意 外 延长 了 。 


1.11.2 ”最 回 调 


把 shared_ptr 绑 〈boost::bind) 到 boost:function 里 ， 那 么 回调 的 时 候 
StockFactory 对 和 象 始终 存在 ， 古 安全 的 。 这 同时 也 延长 了 对 象 的 生命 
期 ， 使 之 不 短 于 绑 得 的 boost:function 对 象 。 

有 时 候 我 们 需要 “如 霖 对 象 还 活 看 ， 瓯 调用 它 的 成 员 函 数 ， 人 否则 名 
略 之 ”的 语意 ， 束 像 Observable::notifyObservers0O) 那 样 ， 我 称 之 为 “ 弱 回 


调 ?。 这 也 是 可 以 实现 的 ， 和 _ptr， 我 们 可 以 把 weak_ptr 绑 到 
boost'::function 里 ， 这 样 对 象 的 生命 期 束 不 会 被 延长 。 然 后 在 回调 的 时 候 
党 试 捉 升 为 shared_ptr， 如 果 提 升 成 功 ， 说 明 接 受 回 调 的 对 象 还 健 
在 ， 那 么 就 执行 回调 ， 如 果 提 升 失 败 ， 束 不 必 劳 神 了 。 
使 用 这 一 技术 的 完整 StockFactory 代 码 如 下 : 


class StockFactory : public boost::enable_shared_from_this<StockFactory>, 
boost: :noncopyable 


{ 
public: 
shared_ptr<Stock> get{const string& key) 
L 
shared_ptr<Sstock> pStock: 
MutexLockGuard lock(mutex_); 
weak_ptr<Stock>& wkStock = stocks_[key]; // 注意 wkStock 是 引用 
pStock = wkstock.lock():; 
if (ClpStock) 
pStock.reset(new Stock(key), 
boost::bind(&SstockFactory: :weakDeletecallback, 
boost::weak_ptr<stockFactory>{(shared_from_this()), 
z -1 
/1/ 上 面 必须 强制 把 shared_from_this() 转型 为 weak_ptr， 才 不 会 延长 生命 期 ， 
// 因为 boost::bind 拷 风 的 是 实 参 类 型 ， 不 是 形 矢 类 型 
wkStock = pStock; 
上 
return PStock ; 
} 
private: 


static vold weakDeleteCcallback(const boost: :weak_ptr<StockFactory>& wkFactory, 
Stockx* stock) 
{ 
shared_ptr<StockFactory> factory(wkFactory.lock()); // 近 旗 提升 
if (factory)  // 如 果 factory 还 在 ， 那 就 清理 stocks_ 


factory->removestock(stock); 


} 
delete stock; // sorry, I lied 


void removeSstock(Stock* stock) 


lf (stock) 
{ 
MutexLockGuard lock{(mutex_); 
stocks_.erase(stock->key() ): 
上 
} 


private: 
mutable MutexLock mutex_.: 
std: :map<string, weak_ptr<Stock> > stocks_; 
Te 
两 个 徐 单 的 测试 : 
vold testLongLifeFactory() 
{ 
shared_ptr<StockFactory> factory(new StockFactory): 
{ 
shared_ptr<Stock> stock = factory->get("NYSE:IBM").; 
shared_ptr<Stock> stock2 = factory->get( NYSE:IBM ) ; 
assert(stock == stock2):; 
/i stock destructs here 


} 


1/ factory destructs here 


J 


vold testSshortLifeFactoryd) 
{ 
shared_ptr<Stock> stock: 
{ 
shared_ptr<StockFactory> factoryknew StockFactory); 
stock = factory->getC"NYSE:IBM"Y: 
shared_ptr<Stock> stock2 = factory->Eet( NYSE:IBM ) ; 
assert(stock == stock2): 
7/ factory destructs here 
} 


:i Stock destructs here 


} 


这 下 完美 7， 无 论 Stock 和 StockFactory 谁 先 挂 掉 都 不 会 影响 程序 的 
正确 运行 。 这 里 我 们 借助 shared_ptr 和 weak_ptr 完 美 地 解决 了 两 个 对 象 相 


互 引用 的 问题 。 
当然 ， 通 常 Factory 对 象 是 个 singleton， 在 程序 正常 运行 期 间 不 会 销 
魂 ， 这 里 只 是 为 了 展示 弱 回 调 技 术 s， 这 个 技术 在 事件 通知 中 非常 有 


用 。 

本 节 的 StockFactory 只 有 针对 单个 Stock 对 象 的 操作 ， 如 果 程 序 需 要 
表 历 整个 stocks_， 稍 不 注意 束 会 造成 死 锁 或 数据 损坏 (82.1) ， 请 参考 
832.8 的 解决 办 法 。 


1.12 和 奉 代 方案 


除了 使 用 shared_ptr/weak_ptr， 要 想 在 C++ 里 做 到 线程 安全 的 对 象 回 
调 与 析 构 ， 可 能 的 办 法 有 以 下 一 些 。 


1. 用 一 个 全 局 的 facade 来 代理 Foo 类 型 对 象 访问 ， 所 有 的 Fo0o 对 象 
回调 和 析 构 都 通过 这 个 facade 来 做 ， 也 融 是 把 指针 蔡 换 为 objId/handle， 
每 次 要 调用 对 象 的 成 员 函 数 的 时 候 先 check-out， 用 完 之 后 再 check-in*。 
这 样 理论 上 能 避免 race condition， 但 古代 价 很 大 。 因 为 要 想 把 这 个 
facade 做 成 线程 安全 的 ， 那 么 必然 要 用 互 斥 锁 。 这 样 一 来 ， 从 两 个 线程 
访问 两 个 不 同 的 Foo 对 象 孔 会 用 到 同一 个 锁 ， 让 本 来 能 够 并 行 执行 的 函 
数 变 成 了 串 行 执行 ， 没 能 友 挥 多 核 的 优势 。 当 然 ， 可 以 像 Java 的 
ConcurrentHashMap 那 样 用 多 个 buckets， 每 个 bucket 分 别 加 锁 ， 以 降低 
COntention 。 

2. 81.4 提 到 的 “只 创建 不 销毁 ?手法 ， 实 属 无 茶 之 举 。 

3， 目 己 编写 引用 计数 的 智能 指针 二。 本 质 上 十 重新 及 明 轮 和 于， 把 
shared_ptr 实 现 一 授 。 正 人 确实 现 线程 安全 的 引用 计数 智能 指针 不 是 一 件 
容 多 的 事情 ， 而 高 效 的 实现 束 更 加 困难 。 既 然 shared_ptr 已 经 提供 了 完 
整 的 解决 方案 ， 那 么 似乎 没有 理由 抗拒 它 。 

4， 将 来 在 C++11 里 有 unique_ptr， 能 避免 引用 计数 的 开销 ， 或 许 能 
在 某 些 场合 替换 shared_ptr。 


其 他 语言 起 么 办 


有 垃圾 回收 就 好 办 。Google 的 Go 语言 教程 明确 指出 ， 没 有 垃圾 回收 
的 并 发 编程 是 困难 的 〈《Concurrency is hard without garbage collection)。 
但 是 由 于 指针 算术 的 存在 ， 在 C/C++ 里 实现 全 自动 垃圾 回收 更 加 困难 。 
而 那些 天 生 上 其 备 垃 圾 回收 的 语言 在 并 友 编 程 方面 共有 明显 的 优势 ，Java 


是 目前 文 持 并 发 编程 最 好 的 主流 语言 ， 它 的 util.concurrent 库 和 内 存 模 型 
是 C++11 效 仿 的 对 象 。 


1.13 ”心得 与 小 结 


学 习 多 线程 程序 设计 远 远 不 是 看 看 教程 了 解 API 怎 么 用 那么 简 早 ， 
这 最 多 “主要 是 为 了 读 恒 别人 的 代码 ， 如 果 目 己 要 写 这 类 代码 ， 必 须 专 
门人 花 时 间 严 肃 、 认 真 、 系 统 地 学 习 ， 严 禁 半 桶 水 上 阵 ”( 坪 宕 ) #。 一 
般 的 多 线程 教程 上 都 会 提 到 要 让 加 锁 的 区 域 足 够 小 ， 这 没 错 ， 问 题 是 如 
Sn 本 章 $1.9 举 的 安全 读 写 shared_ptr 可 算是 一 个 
列子。 

据 我 所 知 ， 目 前 C++ 没 有 特别 好 的 多 线程 领域 专著 ， 但 C 语 言 有 ， 
Java 语 言 也 有 。 《Java Concurrency in Practice》[JCP] 是 我 读 过 的 写 得 最 
好 的 书 ， 内 容 足 人 够 新 ， 可 该 性 和 可 操作 性 俱 佳 。C++ 程 序 员 反 过 来 要 辣 
Java 学 习 ， 多 少 有 些 骸 刺 。 除 了 编程 书 ， 操 作 系 统 教材 也 是 必 谈 的 ， 至 
少 要 完整 地 学 习 一 本 经 典 教 材 的 相关 和 章节， 可 从 《操作 系统 设计 与 实 
现 》、 《现代 操作 系统 》、《 操 作 系 统 概念 》 任 选 一 本 ， 了 解 各 种 同步 
临界 区 、 竞 态 条 件 、 死 锁 、 典 型 的 IPC 问 题 等 等 ， 防 止 财 门 造 

分 析 可 能 出 现 的 race condition 不 仅 是 多 线程 编程 的 基本 功 ， 也 是 放 
计 分 布 式 系 统 的 基本 功 ， 和 需要 反复 历练 ， 形 成 一 定 的 思考 沁 式 ， 并 积案 
一 些 经 验 教 训 ， 才 能 少 犯错 误 。 这 是 一 个 快速 发 展 的 领域 ， 要 不 断 吸 收 
新 知识 ， 才 不 会 洛 伍 。 单 CPU 时 代 的 多 线程 编程 经 验 到 了 多 CPU 时 代 不 
一 定 有 效 ， 因 为 多 CPU 能 做 到 真正 的 并 行 执行 ， 每 个 CPU 看 到 的 事件 发 
生 顺 友 不 一 定 完 全 相同 。 正 如 狭义 相对 论 所 说 的 每 个 观察 者 都 有 目 己 的 
时 钟 ， 在 不 违反 因果 人 律 的 前 所 下 ， 可 能 发 生 十 分 违反 直觉 的 事情 。 

尽管 本 章 通 入 在 讲 如 何 安全 地 使 用 〈 和 包括 析 构 ) 路线 程 的 对 象 ， 但 
我 建议 尽量 减少 使 用 跨 线 程 的 对 象 ， 我 赞同 水 木 网 友 ilovecpp 说 的 :“ 用 
流水 线 ， 生 产 者 消费 者 ， 任 务 队 列 这 些 有 规律 的 机 制 ， 最 低 限 度 地 共享 
数据 。 这 是 我 所 知 最 好 的 多 线程 编程 的 建议 了 。” 

不 用 足 线 程 的 对 象 ， 目 然 不 会 过 到 本 章 朱 述 的 各 种 险 态 。 如 果 迫 不 
得 已 要 用 ,希望 本 章 内 容 能 对 你 有 帮助 。 


小 结 


原始 指针 又 露 给 多 个 线程 往往 会 造成 race condition 或 籁 外 的 短 记 负 


担 。 

统一 用 shared_ptrscoped_ptr 来 管理 对 象 的 生命 期 ， 在 多 线程 中 尤 
其 重要 。 

Shared_ptr 是 值 语 意 ， 当 心意 外 延长 对 象 的 生命 期 。 例 如 boost::bind 
和 容 融 都 可 能 捞 贝 Shared_ptr。 

-Weak_ptr 是 shared_ptr 的 好 搭档 ， 可 以 用 作 弱 回调 、 对 象 池 等 。 

“认真 阅读 一 裔 boost::shared_ptr 的 文档 ， 能 学 到 很 多 东西 : 
http://Www.boost.org/doc/libs/release/libs/smart ptr/shared ptr.htm 

: 傈 持 开放 心态 ， 留 意 更 好 的 解决 办 法 ， 比 如 C++11 引 入 的 
unique_ptr。 环 挥 已 被 废弃 的 auto_ptr。 


shared_ptr 是 TR1 的 一 部 分 ， 即 C++ 标准 库 的 一 部 分 ， 值 得 花 一 点 时 
则 去 学 习 和 掌握 s*， 对 编写 现代 的 C++ 程 序 有 员 大 的 帮助 。 我 个 人 的 经 验 
是 ， 一 周 左右 就 能 基本 掌握 各 种 用 法 与 沼 见 隐 阱 ， 比 学 STL 还 快 。 网 络 
上 有 一 些 对 shared_ptr 的 批评 ， 那 可 以 算 作 故意 误 用 的 例子 ， 就 好 比 故 
意 访 问 失 效 的 达 代 絮 来 证 明 std::vector 个 安全 一 样 。 

正确 使 用 标准 库 ( 售 shared_ptr〉 作 为 日 动 化 的 内 存 / 资源 管理 
研 ， 解 放大 脑 ， 从 此 告别 内 存 错误 。 


1.14 ”Observer 之 读 


本 章 $1.8 把 shared_ptryweak_ptr 必 用 到 Observer 模式 中 ， 部 分 解决 了 
其 线程 安全 问题 。 我 用 Observer 举例 ， 因 为 这 是 一 个 广为人知 的 设计 柑 
式 ， 但 是 它 有 本 质 的 问题 。 

Observer 模 式 的 本 质问 题 在 于 其 面 同 对 象 的 设计 。 换 句 话 说 ， 我 认 
为 正 是 面 同 对 象 《OO) 本 里 造成 了 Observer 的 缺点 。Observer 是 其 类 ， 
这 市 来 了 非 铝 强 的 耘 合 ， 强 上 度 仅 次 于 友 元 (friend) 。 这 种 灰 合 不 仅 限 
制 了 成 员 了 水 数 的 名 字 、 参 数 、 返 回 值 ， 还 限制 了 成 员 函 数 所 属 的 类 型 

(必须 是 Observer 的 派生 类 ) 。 
Observer class 是 基 类 ， 这 意味 看 如 果 Foo 和 想 要 观察 两 个 类 型 的 事件 
(比如 时 钟 和 温度 ) ， 需 要 使 用 多 继承 。 这 还 不 是 最 糟 料 的 ， 如 果 要 重 
复 观察 同一 类 型 的 事件 (比如 1 秒 一 次 的 心跳 和 30 秒 一 次 的 日 检 ， ， 丈 
要 用 到 一 些 伎 俩 来 work around， 因 为 不 能 从 一 个 Base class 继 承 两 次 。 

现在 的 语言 一 般 可 以 绕 过 Observer 模 式 的 限制 ， 比 如 Java 可 以 用 匿 
名 内 部 类 ，Java 8 用 Closure，C# 用 delegate， C++ 用 
boost::function/boost::bind* 。 


在 C++ 里 为 了 和 蔡 换 Observer， 可 以 用 SignalSlots， 我 指 的 不 是 QT 那 
种 徘 语言 扩展 的 实现 ， 而 是 完全 徘 标准 库 实现 的 thread safe、race 
condition free、thread contention free 的 SignalSlots， 并 且 不 强制 要 求 
shared_ptr 来 管理 对 象 ， 也 吏 是 说 完全 解雇 了 81.8 列 出 的 Observer 址 留 问 
题 。 这 会 用 到 8§2.8 介 绍 的 “ 借 shared_ptr 实 现 copy-on-write” 技 术 。 

在 C++11 中 ， 借 助 variadic template， 实 现 最 简 早 (trivial〉 的 一 对 多 
回调 可 请 不 费 吹 灰 之 力 ， 代 码 如 下 。 

recipes/thread/SignalSlotTriviaLh 


template<typename Signature> 
class SignalTrivial: 


A:* NOT thread safe 111 
template <typename RET, typename... ARGS> 
class SignalTrivial<RET(ARGS. ..)> 


public: 
typedef std::function<void (ARGS,..)> Functor; 


void connect(Functor&a& func) 


{ 


functors_.push_back(std: :forward<Functor>(func)):; 


} 


void call(ARGS&&... args) 
L 


for (const Functor& f: functors_) 


frargs...); 
J 
+ 


private: 
std: :vector<Functor> functors_; 


}; 
recipes/thread/SignalSlotTrivial.h 
我 们 不 难 把 以 上 基本 实现 扩展 为 线程 安全 的 Signal/Slots， 并 且 在 
Slot 析 构 时 目 动 unregister。 有 兴趣 的 读者 可 仔细 阅读 完整 实现 的 代码 ( 
recipes/thread/SignalSlot.h ) 。 


结语 
《C++ 沉 思 录 》 (Ruminations on C++ 中 文 版 的 附录 是 王 哦 和 雷 岩 


对 作者 夫妇 二 人 的 采访 ， 在 被 问 到 * 请 给 我 们 三 个 你 们 认为 最 重要 的 建 
议 ”" 时 ，Koenig 和 Moo 的 第 一 个 建议 是 “避免 使 用 指针 ”。 我 2003 年 读 到 这 


段 时 ， 理 解 不 深 ， 和 澳 得 固然 使 用 指针 容易 造成 内 存 方面 的 问题 ， 但 是 完 
全 不 用 也 是 做 不 到 的 ， 毕 葛 C++ 的 多 态 要 通过 指针 或 引用 来 起 效 。6 年 
之 后 重新 拾 起 来 ， 发 现 大 师 的 观点 何其 深刻 ， 不 免 掩 卷 长 叹 。 

这 本 书 详 细 地 介绍 了 handle/body idiom， 这 是 编写 大 型 C++ 程序 的 
必 备 技术 ， 也 是 实现 物理 隅 离 的 “法 宝 ”， 值 得 细 旋 。 

目前 来 看 ， 用 shared_ptr 来 党 理 资 源 在 国内 C++ 界 似乎 并 不 是 一 种 主 
流 做 法 ， 很 多 人 排斥 智能 指针 ， 视 其 为 “洪水 独 兽 ”( 这 或 许 受 了 
auto_ptr 的 垃圾 设计 的 影响 ) 。 据 我 所 知 ， 很 多 C++ 项 目 偿 是 手动 管理 内 
存 和 资源 ， 因 此 我 党 得 有 必要 把 我 认为 好 的 做 法 分 享 出 来 ， 让 更 多 的 人 
竹 试 并 及 纳 。 我 党 得 shared_ptr 对 于 编写 线程 安全 的 C++ 程序 是 至 关 重 要 
果 ， 不 然 束 得 “ 土 法 烧 钢 ”， 日 己 “ 重 新 发 明 轮 子 2:”?。 这 让 我 想起 了 2001 
年 前 后 SITEL 了 刚刚 传 入 国内 ， 大 家 也 是 很 犹豫 ， 和 党 得 它 性 能 不 高 ， 使 用 不 
便 ， 还 不 如 目 己 造 的 容 喜 类 。10 年 过 去 了 ， 现 在 STILL 已 经 是 主流 ， 大 家 
也 适应 了 和 人 代 器 、 容 名 、 算 法 、 适 配 咒 、 仿 困 数 这 些 “ 新 ”名 词 、“ 新 ?" 技 
术 ， 开 始 在 项 目 中 普 抽 使 用 〈 至 少 用 vector 代 人 普 数 组 呆 ) 。 我 希望 ， 儿 
年 之 后 人 们 回头 看 本 章 内 容 ， 沉 得 “怎么 讲 的 都 是 第 识 ”， 那 我 的 写作 目 
的 也 束 达 到 了 。 





注释 
1 ”这 两 个 dlass 也 是 TR1 的 一 部 分 ， 位 于 std::tr1 命 名 空间 ， 在 C++11 中 ， 它 们 是 标准 库 的 一 
部 分 。 
可 重 入 与 不 可 重 入 的 讨论 见 82.1.1。 
3 衬 巧 指针 〈dangling pointer) 指 回 已 经 销毁 的 对 象 或 已 经 回收 的 地 址 ， 野 指针 (wild 
pointer) 指 的 是 未 经 初始 化 的 指针 (http:Wen.wikipedia.orgq/wiki/Dangling pointer ) 。 
4 ”在 Java 中 ， 一 个 reference 只 要 不 为 null， 它 一 定 指 问 有 效 的 对 象 。 
5 C++ 标准 对 在 构造 函数 和 析 构 函数 中 调用 虚 函 数 的 行为 有 明确 规定 ， 但 是 没有 考虑 并 友 
调用 的 情况 。 
6 http://enwikipedla.org/WiIkI/Abstraction layer 
7 ”参见 Edsger W. Dijkstra 的 车 名 演讲 《The Humble Programmer》 
Chttp://www.cs.utexas.edu/~EWD/transcriptions/EWDO 3xx/EWD340.html ) 。 
http://blog.csdn.net/myan/article/detalls/1906 
《Java 蔡 代 C 语 言 的 可 能 性 》 Chttp://blog.csdn.net/myan/article/details/1482614 ) 。 
http://trac.nginx.org/nginx/ticket/{1 34,135,1621 
http://www.boost.org/doc/libs/release/libs/smart ptr/shared ptr.htm#ThreadSafety 
http://www.artima.com/cppsource/top cpp aha moments.html 
recipes/thread/test/Factory.cc 包含 这 里 提 到 的 各 个 版 本 。 
14 http://en.wikipedlia.org/Wwiki/Curiously recurring template pattern 
15 “通用 的 弱 回 调 封装 见 recipes/thread/WeakCallback.h ， 用 到 了 C++11 的 variadic template 和 
rvalue reference。 
16 ”这 是 Jeff Grossman 在 《A technique for safe deletion with object locking》 一 文中 提出 的 
办 法 [Gr00]。 
17 见 http://blog.csdn.net/solstice/article/details/5238671#comments 后 面 的 评论 。 
18 ”吉大 《快速 笃 握 一 个 语言 最 帝 用 的 50%》 博 客 ， 这 篇 博客 〈 
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http://blog.csdn.net/myan/article/details/3144661 的 其 他 文字 也 很 有 趣味 :“ 粗 粗 看 看 语法 ， 就 扒 
起 袖子 开 干 ， 边 但 Google 边 学 习 ” 这 种 路 子 也 有 问题 ， 在 对 于 这 种 语言 的 脾气 秉性 还 没有 了 解 的 
情况 下 大 刀 了 阔 痉 地 拼凑 代码 ， 写 出 来 的 东西 表 定 不 入 流 。 说 罕 新 圣 走 老路 ， 新 瓶 闻 旧 酒 ， 那 都 
是 小 问题 ， 真 正 严 重 的 是 这 样 的 程序 员 可 以 在 短 时 间 内 堆积 大 量 充满 缺陷 的 垃圾 代码 。 由 于 通 
常 开 发 阶段 的 测试 完备 程度 有 限 ， 这 些 垃圾 代码 往往 能 通过 这 个 阶段 ， 从 而 潜伏 下 来 ， 在 后 期 
成 为 整个 项 目的 “ 毒 疤 ”"， 反 反复 复 让 后 来 的 维护 者 陷入 西西 弗 斯 困境 。...…... 其 实 真正 写 程序 不 
人 完全 不 会 ， 最 人 一 知 半 解 地 去 的 解决 方案 。 因 为 你 完全 不 会 ， 吏 自然 会 去 认真 得 书 学习 ， 如 
果 学 习 能 力 好 的 话 ， 写 出 来 的 代码 质量 不 会 差 。 而 一 知 半 解 ， 上 自己 动手 “十 法 炼 钢 ”， 那 摘出 来 
的 基本 上 都 是 “废钢 烂 铁 ”。 

19 ”重大 在 《垃圾 收集 机 制 批 判 》 中 说 : 在 C++ 中 ，new 出 来 的 对 象 没 有 delete， 这 束 导 致 
了 memory leak。 但 是 C++ 早 束 有 了 元 服 这 一 问题 的 办 法 一 一 smart pointer。 通 过 使 用 标准 库 里 设 
计 精 致 的 各 种 STL 容 器 ， 还 有 例如 Boost 库 (差不多 是 个 准 标 准 库 了 ) 中 的 4 个 smart pointers， 
C++ 程序 员 只 要 花 上 一 个 星期 的 时 间 学 习 最 新 的 资料 ， 融 可 以 担 痢 胸 且 说 : “我 写 的 程序 没有 
memory jleak!”。 

20 ” 见 §$11.5“ 以 boost::function 和 boost::bind 取 代 虚 函数 ”"， 还 有 二 宕 的 《function/bind 的 救赎 
《上 ) 》 (Chttp://blog.csdn.net/myan/article/details/5928531 ) 。 

21 http://en.wikipedlia.org/WwikI/Reinventing the wheel 























第 2 章 ”线程 同步 精 归 


并 发 编程 有 两 种 基本 模型 ， 一 种 是 message passing， 另 一 种 是 
shared memory。 在 分 布 式 系统 中 ， 运 行 在 多 台 机 器 上 的 多 个 进程 的 并 行 
编程 只 有 一 种 实用 模型 + message passing:。 在 单机 上 ， 我 们 也 可 以 照搬 
message passing 作 为 多 个 进程 的 并 友 模 型 。 这 样 整个 分 布 式 系统 的 如 构 
的 一 致 性 很 咱 ， 扩 容 〈scale out) 起 来 也 较 容 易 。 在 多 线程 编程 中 ， 
message passing 更 容易 保证 程序 的 正确 性 ， 有 的 语言 只 提供 这 一 种 横 
型 。 不 过 在 用 C/C++ 编写 多 线程 程序 时 ， 我 们 仍然 雷 要 了 解 捅 层 的 
shared memory 模 型 下 的 同步 原 语 ， 以 备 不 时 之 需 。 本 章 不 是 多 线程 教程 
:， 而 是 个 人 经 验 总 结 ， 分 享 一 些 C++ 多 线程 编程 的 经 验 。 本 和 章 多 次 引用 

《Real-World Concurrency》 一 文 的 观点 ， 这 扁 文 草 的 地 址 是 
http://queue.acm.org/detail.cfm?id=1454462 ， 后 文 简称 [RWC]。 
线程 同步 的 四 项 原则 ， 按 重要 性 排列 : 


1. 首要 原则 是 尽量 最 低 限 上 度 地 共享 对 象 ， 减 少 需要 同步 的 场合 。 
一 个 对 象 能 不 骏 露 给 别 的 线程 束 不 要 骏 露 ; 如 末 要 骏 露 ， 优 先 考 虑 
A 实在 不 行 才 其 露 可 修改 的 对 象 ， 并 用 同步 措施 来 充分 
A 

2. 其 次 是 使 用 高 级 的 并 发 编程 构件 ， 如 TaskQueue、Producer- 
Consumer Queue、CountDownLatch 等 等 。 

3. 最 后 不 得 已 必须 使 用 撒 层 同步 原 语 (primitives) 时 ， 只 用 非 递 
归 的 互 斥 左 和 条 件 变 量 ， 慎 用 谈 写 锁 ， 不 要 用 信和 号 量 。 

4. 际 了 使 用 atomic 整 数 之 外 ， 不 目 己 编写 lock-free 代 人 码 :， 也 不 要 
用 “内 核 级 ”同步 原 语 和 fs。 不 途 空 猪 测 “ 哪 种 做 法 性 能 会 更 好 ”， 比 如 spin 


lock vs. mutex.。 


有 前面 两 条 很 容易 理解 ， 这 里 看 香 讲 一 下 上 第 3 条 : 压 层 同步 原 语 的 使 
用 。 


2.1 互 斥 名 (mutex) 


互 不 莫 (mutex): 翁 怕 是 使 用 得 最 多 的 同步 原 语 ， 粗 略 地 说 ， 它 你 
护 了 临界 区 ， 任 何 一 个 时 刻 最 多 只 能 有 一 个 线程 在 此 mutex 划 出 的 临界 


区 内 活动 。 单 独 使 用 mutex 时 ， 我 们 主要 为 了 保护 共 时 数据 。 我 个 人 的 
原则 十 : 


:用 RAT 手法 封 匡 mutex 的 创建 、 销 毁 、 加 人 锁 、 解 锁 这 四 个 操作 。 用 
RAI 封 装 这 几 个 操作 是 通行 的 做 法 ， 这 几乎 是 C++ 的 标准 实践 ， 后 面 我 
会 给 出 具体 的 代码 示例 ， 相 信 大 家 都 已 经 写 过 或 用 过 类 似 的 代码 了。 
Java 里 的 Synchronized 语 句 和 C# 的 using 语 句 也 有 类 似 的 效果 ， 即 保证 锁 
的 生效 期 间 等 于 一 个 作用 域 (scope〉， 不 会 因 异 常 而 忘记 解锁 。 

:只 用 非 递 归 的 mutex( 即 不 可 重 入 的 mutex) 。 

不 手工 调用 lock0 和 unlockO 函 数 ， 一 切 交 给 栈 上 的 Guard 对 象 的 构 
造 和 析 构 图 数 负 贡 。Guard 对 象 的 生命 期 正好 等 于 临界 区 《分 析 对 象 在 
什么 时 候 析 构 是 C++ 程序 员 的 基本 功 ) 。 这 样 我 们 保证 始终 在 同一 个 函 
数 同一 个 scope 里 对 某 个 mutex 加 锁 和 解 锁 。 人 避免 在 foo() 里 加 锁 ， 然 后 跑 
到 bar0O 里 解锁 ; 也 避免 在 不 同 的 语句 分 文中 分 别 加 锁 、 解 锁 。 这 种 做 法 
伞 称 为 Scoped Locking’。 

:在 每 次 构造 Guard 对 象 的 时 候 ， 思 考 一 路 上 (调用 栈 上 ) 已 经 持 有 
的 锁 ， 防 止 因 加 饥 顺 序 不 同 而 导致 死 锁 〈deadlock) 。 由 于 Guard 对 象 是 
栈 上 对 象 ， 看 函数 调用 栈 葡 能 分 析 用 锁 的 情况 ， 非 党 便利 。 


次 要 原则 有: 


:不 使 用 路 进程 的 mutex， 进 程 间 通信 只 用 TCP sockets。 
:加 锁 、 解 锁 在 同一 个 线程 ， 线 程 a 不 能 去 unlock 线 程 b 已 经 锁 住 的 
mutex (RAII 目 动 保 证 ) 。 
: 别 忘 了 解锁 (RAII 自 动 保证 ) 。 
.不 重复 解锁 (RAII 自 动 保证 )。 
:必要 的 时 候 可 以 考虑 用 PTHREAD _MUTEX _ ERRORCHECK 来 排 
错 。 
mutex 孜 介 是 最 简单 的 同步 原 语 ， 投 照 上 面 的 几 条 原则 ， 几 乎 不 可 
本 
并 修复 。 


2.1.1 只 使 用 非 递 归 的 mutex 


谈 谈 我 坚持 使 用 非 递归 的 互 斥 磺 的 个 人 想法 。 
mutex 分 为 递归 (recursive) 和 非 递 归 (non-recursive) 两 种 ， 这 和 是 


POSIX 的 叫 法 ， 另 外 的 名 字 是 可 重 入 (reentrant) 与 非 可 重 入 。 这 两 种 
mutex 作 为 线程 间 (inter-thread〉 的 同步 工具 时 没有 区 别 ， 它 们 的 唯一 区 
别 在 于 : 同一 个 线程 可 以 重复 对 recursive mutex 加 锁 ， 但 是 不 能 午 复 对 
non-recursive mutex 加 人 锁 。 

自选 非 人 违 归 mutex， 绝 对 不 是 为 了 性 能 ， 而 是 为 了 体现 设计 意图 。 
non-recursive 和 recursive 的 性 能 差别 其 实 不 大 ， 因 为 少 用 一 个 计数 左 ， 前 
者 略 快 一 点 点 而 已 。 在 同一 个 线程 里 多 次 对 non-recursive mutex 加 锁 会 
立刻 导 有 致死 锁 ， 我 认为 这 是 它 的 优点 ， 能 帮助 我 们 思考 代码 对 锁 的 期 
求 ， 并 且 及 早 《〈 在 编码 阶段 ) 发 现 问题 。 

坚 无 疑问 recursive mutex 使 用 起 来 要 方便 一 些 ， 因 为 不 用 考虑 一 个 
线程 会 目 己 把 目 己 给 锁 死 了 了， 我 猜 这 也 是 Java 和 Windows 默 认 提 供 
recursive mutex 的 原因 。 〈Java 语 言 目 市 的 intrinsic lock 是 可 和 音 入 的 ， 它 
的 util.concurrent 库 里 提供 ReentrantLock，Windows 的 
CRITICAL SECTION 也 是 可 重 入 的 。 似 乎 它们 都 不 提供 轻 量 级 的 non- 
recursive mutex。 ) 

正 因为 它 方 便 ，recursive mutex 可 能 会 隐 羧 代码 里 的 一 些 问 题 。 典 
型 情况 是 你 以 为 拿 到 一 个 锁 就 能 修改 对 象 了 ， 没 想到 外 层 代 人 码 已 经 拿 到 
了 锁 ， 正 在 修改 〈 或 谈 取 ) 同一 个 对 象 呢 。 来 看 一 个 具体 的 例子 ( 


recipes/thread/test/NonRecursive Mutex test.cc ) : 


MutexLock mutex ; 
std: :Vector<Foo> foos.: 


voO1d post(const Foo& f) 


MutexLockGuard lock(mutex): 
foos.push_back(f): 
上 


void traversel) 


MutexLockGuard lock(mutex); 
for (std: :vector<Foo>: :const_iterator it = foos.begin(); 
it I!= foos.end(): ++1t) 
1t->do1lt(); 
bh 
} 


postO 加 锁 ， 然 后 修改 foos 对 象 ; traverse() 加 锁 ， 然 后 遍历 foos 问 


量 。 这 些 都 是 正确 的 。 
将 来 有 一 天 ，Foo::doitO 间 v 接 调用 了 post()， 那 么 会 很 有 戏剧 性 的 结 
果 : 


1，mutex 十 非 递 归 的 ， 于 是 死 饥 了 。 
2. mutex 是 递归 的 ， 由 于 push_back() 可 能 (但 不 总 是 ) 导致 vector 
从 代 妖 失 效 ， 程 序 侦 尔 会 crash。 


这 时 候 就 能 体现 non-recursive 的 优越 性 ， 把 程序 的 馆 辑 错误 其 露出 
来 。 死 驱 比较 容 易 debug， 把 各 个 线程 的 调用 栈 打 出 来 ， 只 要 每 个 函数 
不 是 特别 长 ， 很 容易 看 出 来 是 怎么 死 的 ， 见 $2.1.2 的 例子 >。 或 者 可 以 用 
PTHREAD_MUTEX_ERRORCHECK 一 下 子 就 能 找到 错误 〈 前 提 是 
MutexLock 市 debug 选 项 ) 。 程 序 有 反正 了 要死 ， 不 如 死 得 有 意义 一 点 ， 留 
个 “人 全书 ”， 让 验尸 (post-mortem) 更 容易 些 。 

如 果 确 实 需要 在 遍历 的 时 候 修改 vector， 有 两 种 做 法 ， 一 是 把 修改 
推 后 ， 记 住 循环 中 试 独 琴 加 或 删除 哪些 元 素 ， 等 循环 结束 了 有 再 依 记录 修 
改 foos; 二 是 用 copy-on-write， 见 $2.8 的 例子 。 

如 果 一 个 函数 既 可 能 在 已 加 锁 的 情况 下 调用 ， 叉 可 能 在 未 加 锁 的 情 
况 下 调用 ， 那 么 就 拆 成 两 个 疯 数 : 


1. 跟 原 来 的 函数 同名 ， 函 数 加 锁 ， 转 而 调用 第 2 个 函数 。 
2. 给 函数 名 加 上 后 级 WithLockHold， 不 加 锁 ， 把 原来 的 函数 体 搬 
束 保 这 样 : 
void post(const Foo& f) 
MutexLockGuard lock(mutex): 


postWithLockHold(f); 7/A 不 用 担心 开销 ， 编 译 仑 会 自动 内 联 的 
) 
/1 引入 这 个 函数 是 为 了 体现 代码 作者 的 意图 ， 尽 管 push_back 通 第 可 以 手动 内 联 
void postWithLockHold(const Foo& f) 

foos.push_back(f): 
} 

这 有 可 能 出 现 两 个 问题 (感谢 水 木 网 友 ilovecpp 提 出 〉: 
(a) 误 用 了 加 人 锁 厂 本 ， 死 锁 了 。 


(b) 误 用 了 不 加 人 锁 版 本 ， 数 据 损 坏 了 。 
对 于 〈a) ， 仿 造 $2.1.2 的 办 法 能 比较 容易 地 排 钳 。 对 于 (b) ， 如 
果 Pthreads 提 供 isLockedByThisThread0 就 好 办 ， 可 以 写成 : 


void postWithLockHold(const Foo& f) 
{ 
assert(mutex.isLockedByThisThread()); // muduo: :MutexLock 提供 了 这 个 成 员 函 数 
Fh i 
} 
另外 ，WithLockHold 这 个 显眼 的 后 绥 也 让 程序 中 的 误 用 容易 暴露 出 来 。 
C++ 没有 annotation， 不 能 像 Java 那 样 给 method 或 field 标 上 
@GuardedBy 注 解 ， 需 要 程序 员 上 自己 小 心 在 意 。 虽 然 这 里 的 办 法 不 能 一 
秀水 侈 地 解决 全 部 多 线程 错误 ， 但 能 帮 上 一 点 是 一 点 了 。 
我 还 没有 过 到 过 需要 使 用 recursive mutex 的 情况 ， 我 想 将 来 过 到 了 
都 可 以 借助 wrapper 改 用 non-recursive mutex， 代 人 码 只 会 更 清晰 。 
Pthreads 的 权威 专家 ， 《Programming with POSIX Threads》 的 作者 
David Butenhof 也 排斥 使 用 recursive mutex。 他 说 : 2 


First, implementation of efficient and reliable threaded code revolves 
around one simple and basic principle: follow your design. That implies, of 
course, that you have a design, and that you understand it. 

A correctand well understood design does not require re cursive 
mutexes. 《后 上 略 ) 


回 到 正题 。 本 文 这 里 只 谈 了 mutex 本 里 的 正确 使 用 ， 在 C++ 里 多 线 
程 编程 还 会 遇 到 其 他 一 些 race condition， 请 参看 第 1 章 。 

性 能 注脚 : Linux 的 Pthreads mutex 采 用 futex(2) 实 现 :， 不 必 每 次 加 
锁 、 解 锁 都 陷入 系统 调用 ， 效 率 不 错 。Windows 的 CRITICAL_SECTION 
也 是 类 似 的 ， 不 过 它 可 以 舱 入 一 小 段 spin lock。 在 多 CPU 系统 上 ， 如 果 
人 它 会 先 spin 一 小 段 时 间 ， 如 条 还 不 能 拿 到 锁 ， 才 挂 起 
当前 线 = 


2.1.2 ”和 死 锁 
前 面 说 过 ， 如 果 坚 持 只 使 用 Scoped Locking， 那 么 在 出 现 死 锁 的 时 


候 很 容易 定位 。 考 虑 下 面 这 个 线程 目 己 与 自己 死 锁 的 例子 
recipes/thread/test/SelfDeadLock.cc ) 。 


1 class Regquest 

2 汶 

3 public: 

| void process() // __attribute__ (noinline})) 
5 人 

6 muduo: :MutexLockGuard lock(mutex_);: 

7 EY eg 

8 print(); // 原本 没有 这 行 ， 茶 人 为 了 调试 程序 不 小 心 添加 了 。 
9 上 

10 

11 void Print() const // __attribute__ ({(noinline)) 
12 { 

13 muduo: :MutexLockGuard lock(mutex_): 

14 eS 

15 } 

16 

17 private: 

18 mutable muduo: :MutexLock mutex_: 

19 1}; 

20 

21 int mainf 

2 尘 

23 Reqguest req; 

24 regq.processt); 

ps } 


在 上 面 这 个 例子 中 ， 原 本 没有 L8， 在 添加 它 之 后 ， 程 序 立 刻 出 现 了 
死 锁 。 要 调试 定位 这 种 死 锁 很 容易 ， 只 要 把 函数 调用 栈 打印 出 来 ， 结 合 
源码 一 看 ， 我 们 立刻 融会 肥 现 第 6 帆 Request::processO0 和 第 5 帆 
Request::printO 先 后 对 同一 个 mutex 上 锁 ， 引 友 了 死 锁 。【〈 必 要 的 时 候 可 
以 加 上 ”attribute ”来 防止 滑 数 inline 展 开 。) 


$ gdb ./self_deadlock core 

(gdb) bt 

#8 __l1ll_lock wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/lowlevellock.s:136 
#1 _L_lock_953 () from /lib/libpthread.so.0 

#2 __pthread_mutex_lock (mutex=@x7/fffecf57bf8) at pthread_mutex_Lock.c:61 

#3 muduo: :MutexLock::lock () at test/../Mutex.h:49 

#4 MutexLockGuard (Y) at test/../Mutex.h:75 

#5 Request::print (Y at test/SelfDeadLock.cc:14 

#6 Regquest::process () at test/SelfDeadLock.cc:9 

#7 main () at test/SelfDeadLock.cc:2d4 


要 修复 这 个 错误 也 很 容易 ， 按 前 面 的 办 法 ， 从 Request::print() 抽 取 


出 2Request::printWithLockHold0， 并 让 Request::printO 和 
Request::processO 都 调用 它 即 可 。 

再 来 看 一 个 更 真实 的 两 个 线程 死 锁 的 例子 
recipes/thread/test/MutualDeadLock.cc ) 。 

有 一 个 Inventory〈 清 单 ) class， 记 录 当 前 的 Request 对 象 。: 容 易 看 
出 ， 下 面 这 个 Inventory class 的 add0 和 remove0 成 员 函 数 都 是 线程 安全 
的 ， 它 使 用 了 mutex 来 剑 护 共 孚 数据 requests_。 


class Inventory 
{ 
public: 
vold add(Requestx req) 
{ 
muduo: :MutexLockGuard lock({mutex_); 
requests_.insert(req): 


】 


Vold remove(Request* req) // _ attribute_ ((noinline)) 
{ 

muduo: :MutexLockGuard lock(mutex_): 

requests_ .erase(req):; 


上 
vold PrintAllL() const.: 


private: 
mutable muduo: :MutexLock mutex_: 
std: :set<Request*x> requests_: 


}; 


Inventory g_inventory; // 为 了 何 音 起见， 这 里 使 用 了 全 局 对 象 。 
Request class 与 Inventory class 的 交互 馆 辑 很 简单 ， 在 处 理 
(process) 请求 的 时 候 ， 往 g_inventory 中 沃 加 目 己 。 在 析 构 的 时 候 ， 从 
&_inventory 中 移 除 自己 。 目 前 看 来 ， 你 个 程序 还 是 线程 安全 的 。 


1 class Regquest 

"2 

3 public: 

4 void process() // __attribute__ (Cnoinliney 
5 { 

8 muduo: :MutexLockGuard lock(mutex_): 

7 g_inventory.add(this): 

8 a 

9 】 

10 

11 ~Request() __attribute__ (fnoinliney7 

12 { 

13 muduo: :MutexLockGuard lock(mutex_): 

14 sleep(1); // 为 了 容易 复 现 列 锁 ， 这 里 用 了 延 时 
15 g_inventory.remove(this):; 

16 】 

17 

18 void print() const __attribute__((noinlLiney ) 
19 

20 muduo: :MutexLockGuard lock(mutex_): 

21 i 

22 } 

23 

24 private: 

25 mutable muduo: :MutexLock mutex_: 

26 J}; 


Inventory class 还 有 一 个 功能 是 打印 全 部 已 知 的 Request 对 象 。 
Inventory:: printAl10 里 的 逻辑 单独 看 是 没 问 题 的 ， 但 是 它 有 可 能 引 及 死 
全。 


void Inventory: :printAll() const 
{ 
muduo: :MutexLockGuard lock(mutex_): 
sleep(1); 7/ 为 了 容 犁 复 现 死 秽 ， 这 里 用 了 延 时 
for (std::set<Request*>: :const_iterator it = requests_.begin(); 
it != requests_.end(): 
++it) 
1 
Cx*it)->print(y: 


printf("Inventory: :printAll() unlocked\n” ): 


下 和 面 这 个 程序 运行 起 来 友 生 了 死 锁 : 
void threadFunc 人 ) 


\ 
Request* reqg = mew Regquest ， 
req->process(); 
delete reqg:; 

上 


int mainfy 


muduo: :Thread thread(threadFunc): 
thread, start(): 


usleep(580 * 1000): // 为 了 让 为 一 个 线程 等 在 前 面 第 14 行 的 sleep() 上 。 
g_lnventory.printAll(); 
thread. Joint): 


通过 gdb 奏 看 两 个 线程 的 函数 调用 栈 ， 我 们 发 现 两 个 线程 都 等 在 
mutex 上 〈_]_lock_ wait) ， 估 计 是 发 生 了 死 锁 。 因 为 一 个 程序 中 的 线 


程 一 般 只 会 等 在 condition variable 上 ， 或 者 等 在 epoll_wait 上 。 


$ gdb ,/mutual_deadlock core 
(gdb) thread apply all bt 


Thread 1 《Thread 31229): # 这 是 main() 线程 

#8 __l1ll_lock wait () at ../nptl/sysdeps/UunNix/sysv/linux/x86_64/lowlevellock.S:136 
#1 _L_lock_953 () from /lib/libpthread.so.8 

#2 __pthread_mutex_lock (mutex=@xecd158) at pthread_mutex_lock.c:61 

#3 muduo: :MutexLock::lock (this=@xecd156) at test/../Mutex.h:49 

#4 MutexLockGuard (this=@xecd158) at test/../Mutex.h:75 

#5 Request::print (this=@xecd156) at test/MutualDeadLock.cc:51 

#6 Inventory::printAll (this=@x605aa0) at test/MutualDeadLock.cc:67 

#7 Ox000000000804803368 in main () at test/MutualDeadLock.cc:84 


Thread 2 (Thread 31238): # 这 十 threadFunc(Y) 线程 
#8 __l1ll_ lock wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/:lowlevellock.S:136 
#1 _L_lock_953 () from /lib/libpthread.so.% 
#2 __pthread mutex_lock (mutex=Ox6095aag) at pthread_mutex_lock.c:61 
#3 muduo: :MutexLock::lock (this=0x605aad, reg=0x80) at test/.,./Mutex.h:49 
#4 MutexLockGuard {this=@x605aad, reqg=@x88) at test/../Mutex.h:75 
#5 Inventory::remove (this=0x6685aa0, req=@x86@) at test/MutualDeadLock,.cc:19 
#6 ~Request (this=0xecdl5@, ...) at test/MutualDeadLock.cc:46 
#7 threadFunc () at test/MutualDeadLock.cc:76 
#8 boost::functiond<void>::operator) (this=@x7fff21c160316) 
at /usr/include/boost/function/function_template.hpp:1813 
#9 muduo: :Thread: :runInThread (this=@x7fff21c18318) at Thread.cc:113 
#1@ muduo: :Thread: :startThread (obj=@x685aa8) at Thread.cc:185 
#11 start_thread (arg=<value optimized out>) at pthread_create.c:380 
#12 clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.s:112 


注意 到 main() 线 程 是 先 调用 Inventory::printAll(#6) 再 调用 
Request::print(#5)， 而 threadFuncO 线 程 是 先 调 用 Request:: 一 Request(#6) 肌 
调用 Inventory::remove(#5)。 这 两 个 调用 序列 对 两 个 mutex 的 加 锁 顺 序 正 
好 相反 ， 于 是 造成 了 经 典 的 死 饥 。 见 图 2-1，Inventory class 的 mutex 的 临 
界 区 由 灰 撒 表示 ，Request class 的 mutex 的 临界 区 由 和 斜纹 表示 。 一 旦 
main() 线 程 中 有 的 printAl(0) 在 为 一 个 线程 的 一 Request() 和 remove0 〇 之 间 开 始 
执行 ， 死 锁 已 不 可 避免 。 


printAll() en 








main() ] a 
”~Request() removel) 
threadF unc() ] SS 
. threadFune() 
US UD.5s 1s 1.5s De 


图 2-1 


思考 : 如 果 printAl10 晚 于 remove0 执 行 ， 还 会 出 现 死 锁 吗 ? 

练习 : 修改 程序 ， 让 一 RequestO 在 printAl110 和 printO 之 间 开 始 执 
行 ， 复 现 态 一 种 可 能 的 死 锁 时 订 。 

这 里 也 出 现 了 第 1 草 所 说 的 对 象 析 构 的 race condition， 即 一 个 线程 正 
在 析 构 对 象 ， 另 一 个 线程 却 在 调用 它 的 成 员 函 数 。 

解雇 死 锁 的 办 法 很 简单 ， 要 么 把 printO 移 出 printAH1O 的 临界 区 ， 这 
可 以 用 $2.8 介 绍 的 办 法 ;要 么 把 remove0 移 出 一 Request0 的 临界 区 ， 比 
如 交换 此 处 中 L13 和 L15 两 行 代码 的 位 置 。 当 然 这 没有 解决 对 象 析 构 的 
race condition， 留 给 读者 当做 练习 吧 。 

思考 : Inventory::printAll -> Request::print 有 没有 可 能 与 
Request::process Inventory::add 发 生死 锁 ? 

死 锁 会 让 程序 行为 失 第 ， 其 他 一 些 锐 使 用 不 当 则 会 影响 性 能 ， 例 如 
潘 爱 民 老 师 写 的 《Lock Convoys Explained》3 详 细 解 释 了 一 种 性 能 衰退 
的 现象 。 除 此 之 外 ， 编 号 高 性 能 多 线程 程序 全 少 还 要 知 违 false sharing 和 
CPU cache 效 应 ， 可 看 脚注 中 的 这 几 户 文章 73。 


2.2 条件 变量 (condition variable) 


互 斥 项 (mutex) 是 加 锁 原 语 ， 用 来 排他 性 地 访问 共 至 数据 ， 它 不 
是 等 待 原 语 。 在 使 用 mutex 的 时 候 ， 我 们 一 般 都 会 期 户 加 锁 不 要 阻 禾 ， 
总 是 能 立刻 拿 到 锁 。 然 后 尽快 访问 数据 ， 用 完 之 后 尽快 解锁 ， 这 样 才 能 

“影响 并 发 性 和 性 能 。 

如 果 需 要 等 竺 茶 个 条 件 成 立 ， 我 们 应 该 使 用 条 件 变量 〈condition 
variable) 。 条 件 变量 顾名思义 是 一 个 或 多 个 线程 等 竺 茶 个 布尔 表达 了 
为 真 ， 即 等 竺 列 的 线程 “唤醒 ” 它 。 条 件 变量 的 学 名 叫 管 程 Cmonitor) 。 
Java Object 内 置 的 wait()、notify()、notifyAll0 是 条 件 变 量 #。 

条 件 变 量 只 有 一 种 正确 使 用 的 方式 ， 几 平 不 可 能 用 错 。 对 于 wait 
J : 

1. 必须 与 mutex 一 起 使 用 ， 广 布尔 表达 式 的 谈 与 需 受 此 mutex 保 
i 

2. 在 mutex 已 上 锐 的 时 候 才 能 调用 wait()。 

3. 把 判断 布尔 条 件 和 waitO 放 到 while 循 环 中 。 


写成 代 但 是: 


muduo: :MutexLock mutexX ， 
muduo: :condition cond(mutex): 
std: :deque<int> QUeUe ; 


int degqueue() 


MutexLockGuard lock(mutex): z ee 
while (queue.empty()) // 必须 用 循环 ; 必须 在 判断 之 后 再 wait() 
{ 


cond.wait(); // 这 一 步 会 原子 地 unlock mutex 并 进入 等 待 ， 不 会 与 enqueue 死 锁 
1/ wait() 执行 完毕 时 会 自动 重新 加 锁 


assert(!queue.empty()):; 
int top = OUeue ,front(y : 
queue .POP_front( ) ; 
return top: 


上 上面 的 代码 中 必 须 用 while 循 坏 来 等 得 条 件 变 量 ， 而 个 能 用 if 语 句 ， 
原因 是 spurious wakeup*。 这 也 是 面试 多 线程 编程 的 常见 考点 。 
对 于 signal/broadcast 缠 : 


1. 不 一 定 要 在 mutex 已 上 锁 的 情况 下 调用 signal (理论 上 )。 

2. 在 Signal 之 前 一 般 要 修改 布尔 表达 式 。 

3. 修改 布尔 表达 式 通 第 要 用 mutex 剑 护 〈 全 少 用 作 full memory 
barrier) 。 

4. 注意 区 分 Signal 与 broadcast: “broadcast 通 常用 于 表明 状态 变化 ， 
signal 退 党 用 于 表示 资源 可 用 。 (broadcast should generally be used to 
indicate state change rather than resource availability。 ) 2” 


写成 代码 是 2 : 
void engqueue(int x) 
{ 
MutexLockGuard lock(mutex): 
queue.push_back(x): : 
cond.notify();” // 可 以 移出 临界 区 之 外 
} 
上 面 的 dequeue()/enqueue0) 实 际 上 实现 了 一 个 人 简 时 的 容量 无 限 的 
(unbounded) BlockingQueue2 。 
思考 : enqueue0 中 每 次 添加 元 系 都 会 调用 Condition::notifyO0， 如 末 
改 成 只 在 queue.size(0 从 0 变 1 的 时 候 才 调用 Condition::notifyO0， 会 出 现 什 
人 么 后 未 ? 


条 件 变 量 是 非常 压 层 的 同步 原 语 ， 很 少 和 直接 使 用 ， 一 般 痢 是 用 它 来 
实现 高 层 的 同步 措施 ， 如 BlockingQueue<T> 或 CountDownLatch。 

倒计时 《CountDownLatch) 3 是 一 种 常用 且 易 用 的 同步 手段 。 它 主 
要 有 歇 种 用 途 : 

:主线 程 发 起 多 个 子 线程 ， 等 这 些 子 线 程 各 自 都 完成 一 定 的 任务 之 
后 ， 主 线程 才 继 续 执 行 。 通 弟 用 于 主线 程 等 竺 多 个 子 线程 完成 初始 化 。 

主线 程 肥 起 多 个 子 线程 ， 子 线程 都 等 竺 主线 程 ， 主 线程 完成 其 他 
一 些 任务 之 后 通知 所 有 子 线 程 开 始 执行 。 通 各 用 于 多 个 子 线程 等 竺 主线 


当然 我 们 可 以 直接 用 条 件 杰 量 来 实现 以 上 两 种 同步 。 不 过 如 果 用 
CountDownLatch 的 话 ， 程 序 的 逻辑 更 清晰 。CountDownLatch 的 接口 很 
简单 : 


class CountDownLatch : boost::noncopyable 


{ 
public: 
explicit CountDownLatch(int count); /Y/Y 倒数 几 次 
void wait(y:; // 等 待 计数 值 变 为 8 
void countDown(): 1/ 计数 减 一 
private: 


mutable MutexLock mutex_.; 
Condition condition_: 
LInt count_: 
和 
CountDownLatch 的 实现 同样 简单 ， 几 乎 束 是 条 件 变 量 的 教科 书 式 应 
用 : 


// 构造 函数 
vol1d CountDownLatch: :waitd) 


MutexLockGuard lock(mutex_): 
while (count > 有) 
condition_ .wait(): 


} 
vold CountDownLatch: :countDownd) 


MutexLockGuard lock(mutex_): 
--COUNt_: 
if (count. == ©@) 
condition_.notifyAll(): 
} 


注意 到 CountDownLatch::countDownO 使 用 的 是 
Condition::notifyA1O， 而 前 面 此 处 的 enqueueO 使 用 的 是 
Condition::notify()， 这 都 是 有 意 为 之 。 请 读者 思考 ， 如 果 交 换 两 种 用 法 
会 出 现 什么 情况 ? 

互 矿 费 和 条件 变量 构成 了 多 线程 编程 的 全 部 必 备 同步 原 语 ， 用 它们 
即 可 冤 成 任何 多 线程 同步 任务 ， 二 者 不 能 相互 符 代 。# 我 认为 应 该 精通 
这 两 个 同步 原 语 的 用 法 ， 先 学 会 编导 正确 的 、 安 全 的 多 线程 程序 ， 再 在 
必要 的 时 候 考 虑 用 其 他 “局 技术 ”手段 提 噩 性能， 如果 确实 能 提 融 性 能 的 
话 。 干 万 不 要 连 mutex 都 还 没 学 会 、 用 好 ， 一 上 来 就 考虑 lock-free 设 计 = 


2.3 不 要 用 讯号 贷 和 信和 六 量 


读 写 锁 (Readers-Writer lock， 人 简写 为 rwlock) 是 个 看 上 去 很 美的 抽 
象 ， 它 明确 区 分 了 read 和 write 两 种 行为 。 

已 学 者 常 干 的 一 件 事情 是 ， 一 见 到 茶 个 共享 数据 结构 频 索 谈 而 很 少 
写 ， 束 把 mutex 符 换 为 rwlock。 甚 至 首选 rwlock 来 保护 共享 状态 ， 这 不 见 
得 是 正确 的 。 


.从 正确 性 方面 来 说 ， 一 种 典型 的 易 犯 错误 是 在 持 有 read lock 的 时 候 
修改 了 共享 数据 。 这 通常 发 生 在 程序 的 维护 阶段 ， 为 了 新 增 功 能 ， 程 序 


员 不 小 心 在 原来 read lock 保 护 的 图 数 中 调用 了 会 修改 状态 的 图 数 。 这 种 
错误 的 后 果 跟 无 保护 并 发 谈 写 共享 数据 是 一 样 的 。 

:从 性 能 方面 来 说 ， 恋 与 锁 不 见得 比 普通 mutex 更 高 效 。 无 论 如 何 
reader lock 加 锁 的 开销 不 会 比 mutex lock 小 ， 因 为 它 要 更 新 当前 reader 的 
数目 。 如 果 临 界 区 很 小 2 ， 锁 竞争 不 激烈 ， 那 么 mutex 人 往往 会 更 快 。 见 
8$1.9 的 例子 。 

Teader lock 可 能 允许 提升 upgrade) 为 writer lock， 也 可 能 不 允许 
提升 *。 考 虑 82.1.1 的 post() 和 traverse() 示 例 ， 如 果 用 旋 写 锁 来 保护 foos 对 
象 ， 那 么 post0 应 该 持 有 写 锁 ， 而 traverse(0) 应 该 持 有 读 锁 。 如 果 人 允许 把 读 
锁 提 升 为 与 饥 ， 后 各 跟 使 用 recursive mutex 一 样 ， 会 造成 迭代 人 龙 失 效 ， 
程序 骨 沉 。 如 果 不 允 许 提 升 ， 后果 跟 使 用 non-recursive mutex 一 样 ， 会 
造成 死 锁 。 我 宁愿 程序 死 锁 ， 留 个 “全 尸 ? 好 奉 验 。 

:通常 reader lock 是 可 重 入 的 ，writer lock 是 不 可 重 入 的 。 但 是 为 了 防 
止 writer 饥 饿 ，writer lock 通 各 会 阻 杜 后 来 的 reader lock， 因 此 reader lock 
在 午 入 的 时 候 可 能 死 席 。 男 外 ， 在 追求 低 延 人 壕 读 取 的 场合 也 不 适用 读 瑟 
锁 ， 见 此 处 。 


muduo 线 程 库 有 意 不 提供 读 写 锁 的 封 疾 ， 因 为 我 还 没有 在 工作 中 巡 
到 过 用 rwlock 和 蔡 换 普通 mutex 会 亚 香 提高 性 能 的 例 和 于。 相反 ， 我 们 一 自 
建议 自选 mutex。 

过 到 并 发 读 写 ， 如 果 条 件 人 合适， 我 通 沼 会 用 8§2.8 的 办 法 ， 而 不 用 读 
写 锁 ， 同 时 避免 reader 被 writer 阻 于。 如 果 确 实 对 并 发 恋 与 有 极 高 的 性 能 
要 求 ， 可 以 考虑 read-copy-update: 。 


信号 量 (Semaphore) : 我 没有 迪 到 过 需要 使 用 信号 量 的 情况 ， 无 
从 谈 及 个 人 经 验 。 我 认为 信号 量 不 是 必 备 的 同步 原 语 ， 因 为 条 件 变量 配 
合 互 斥 器 可 以 完全 蔡 代 其 功能 ， 而 且 更 不 易 用 错 。 除 了 [RWC] 指 出 
的 “semaphore has no notion of ownership” 之 外 ， 信 号 量 的 另 一 个 问题 在 
于 它 有 日 己 的 计数 值 ， 而 通 沼 我 们 目 己 的 数据 结构 也 有 长 上 度 值 ， 这 束 造 
成 了 同样 的 信息 存 了 两 份 ， 需 要 时 刻 保 持 一 致 ， 这 增加 了 程序 员 的 负担 
和 出 铬 的 可 能 。 如 末 要 控制 并 有 发 度 ， 可 以 考虑 用 muduo::ThreadPool。 

说 一 句 不 知 天 高 地 厚 的 话 ， 如 采 程 序 里 需要 解决 如 “ 藻 学 家 殴 餐 ”之 
关 的 复杂 IPC 问 题 ， 我 认为 应 该 首 匈 检讨 这 个 说 计 : 为 什么 线程 之 间 会 
有 如 此 复 淋 的 资源 争 抢 (一 个 线程 要 同时 抢 到 两 个 资源 ， 一 个 资源 可 以 
侯 两 个 线程 争 守 ) ?如 果 在 工作 中 直到， 我 会 把 “ 想 吃 饭 ” 这 个 事情 专门 
区 给 一 个 为 各 位 次 学 家 分 派 餐 具 的 线程 来 做 ， 然 后 每 个 哲学 家 等 在 一 个 
人 简单 的 condition variable 上， 到 时 间 了 有 人 通知 他 去 吃饭 。 从 哲学 上 


说 ， 教 科 书 上 的 解决 方案 是 平权 ， 每 个 哲学 家 有 上 自己 的 线程 ， 目 己 去 拿 
和 僻 子 ， 我 于 愿 用 集权 的 方式 ， 用 一 个 线程 专门 官 餐 具 的 分 配 ， 让 其 他 哲 
学 家 线程 拿 个 号 等 在 食 筷 门口 好 了 。 这 样 不 损失 多 少 效 靳 ， 却 让 程序 侧 
单 很 多 。 虽 然 windows 的 WaitForMultipleObjects 让 这 个 问题 trivial 化 ， 但 
在 Linux 下 正确 模拟 WaitForMultipleObjects 不 是 普通 程序 员 该 干 的 。 

Pthreads 还 提供 了 barrier 这 个 同步 原 语 ， 我 认为 不 如 
CountDownLatch 实 用 。 


2.4 封装 MutexLockk、MutexLockGuardd、 
Condition 


本 节 把 前 面 用 到 的 MutexLock、MutexLockGuard、Condition 等 class 
的 代码 列 出 来 ， 前 面 两 个 class 没 多 大 难度 ， 后 面 那 个 有 点 意思 。 这 几 个 
class 都 不 允许 拷贝 构造 和 赋值 。 完 整 代码 可 以 在 muduo/base 找到 。 

MutexLock 和 MutexLockGuard 这 两 个 class 应 该 能 在 纸 上 默 写 出 来 ， 
没有 太 多 需要 解释 的 。MutexLock 的 附加 值 在 于 提供 了 
isLockedByThisThread0O 函 数 ， 用 于 程序 断言 。 它 用 到 的 
CurrentThread::tid() 也 数 将 在 84.3 介 绍 。 


class MutexLock : boost::noncopyable 


{ 
public: // 为 了 节省 版 面 ， 单 行 函数 都 没有 正确 缩 进 


MutexLock() 
: holder_(®) 
{ pthread_ mutex_init(&mutex_, NULL):; } 
~MutexLock() 
assert(holder_ == 日 ) ; 
pthread_mutex_destroy(&mutex_): 
上 


bool isLockedByThisThread() 
{ return holder_ == CurrentTihread::tid(): } 


vold assertLocked() 
{ assert(isLockedByThisThread()); } 


void lock() /1 仅 供 MutexLockGuard 调用 ， 严 禁用 户 代码 调用 

{ | 
pthread_mutex_lock(&mutex_Y): // 这 网 行 顺 厚 和 不 能 反 
holder_ = CurrentThread: :tid(): 

} 


void unlock()  // 仅 供 MutexLockGuard 调用 ， 严 禁用 户 代 码 调用 
{ 


holder_ = 0@: // 这 两 行 顺 厚 不 能 反 
pthread_mutex_unlock(&mutex_): 
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pthread_mutex_t* getPthreadMutex() // 仅 供 Condition 调用 ， 严 禁用 尸 代 码 调 用 
{ return &mutex_: } 


private: 

pthread_mutex_t mutex_; 
pid_t holder_: 

让 


class MutexLockGuard : boost: :noncopyable 
{ 
public: 
explicit MutexLockGuard(MutexLock& mutex) 
: mutex_(mutex) 
{ mutex_.lock(});: } 


~MutexLockGuard() 
{ mutex_.unlock(); } 


private: 
MutexLock& mutex_: 


#define MutexLockGuard(x) static assert(false, "missine mutex guard var name”) 


注意 上 面 代码 的 最 后 一 行 定 义 了 一 个 宏 ， 这 个 宏 的 作用 是 防止 程序 
里 出 现 如 下 错误: 


vold dolitr() 
{ | 
MutexLockGuard(mutex); // 遗漏 变量 名 ， 产 生 一 个 临时 对 象 又 马上 销毁 了 ， 
// 结果 没有 锁 住 临界 区 。 
// 正确 写法 十 MutexLockGuard lock(mutexYy: 


/1/1 上 临界 区 


我 见 过 有 人 把 MutexLockGuard 写 成 template， 我 没有 这 么 做 是 因为 
它 的 模板 类 型 参数 只 有 MutexLock 一 种 可 能 ， 没 有 必要 随意 增加 灵活 
性 ， 于 是 我 手工 把 模板 具 现 化 (instantiate〉 了。 此 外 一 种 更 激进 的 写法 
是 ， 把 lock/unlock 放 到 private 区 ， 然 后 把 MutexLockGuard 议 为 
MutexLock 的 friend。 我 认为 在 注释 里 告知 程序 员 即 可 ， 为 外 check-in 之 


前 的 code review 也 很 容 匈 上 友 现 误 用 的 情况 〈grep getPthreadMutex) 。 
这 上 段 代 人 码 没 有 达到 工业 强度 : 


-mutex 创 建 为 PTHREAD MUTEX _ DEFAULT 类 型 ， 而 不 是 我 们 预 
想 的 PTHREAD_ MUTEX NORMAL 类 型 〈 实 际 上 这 二 者 很 可 能 是 等 同 
的 ) ， 严 格 的 做 法 是 用 mutexattr 来 显示 指定 mutex 的 类 型 。 

.没有 检查 返回 值 。 这 里 不 能 用 assertO 检 查 返 回 值 ， 因 为 assertO) 在 
release build 里 是 空 语句 。 我 们 检查 返回 值 的 意义 在 于 防止 ENOMEM 之 
类 有 的 资源 不 中 情况 ， 这 一 般 只 可 能 在 负载 很 重 的 产品 程序 中 出 现 。 一 旦 
出 现 这 各 错误， 程序 必须 立刻 清理 现场 并 主动 退出 ， 奋 则 会 员 名 其 妙 地 
朋 误 ， 给 事后 调 奏 造成 困难 。 这 里 我 们 需要 non-debug 的 assert， 或 许 
google-glog 的 CHECKO 安 是 个 不 错 的 思路 。 


以 上 两 点 改进 留 作 练习 。 

muduo 库 的 一 个 特点 是 只 提供 最 党 用 、 最 基本 的 功能 ， 特 别 有 章 避 
免 提 供 多 种 功能 近似 的 选择 。muduo 不 是 “ 杂 贷 铺 ”， 不 会 不 分 青 红 电 白 
地 把 各 种 有 用 的 、 没 用 的 功能 全 铺 开 摆 出 来 。muduo 删 党 束 简 ， 举 重 寿 
轻 ;， 减 少 选择 余地 ， 生 活 更 简单 。MutexLock 没 有 提供 trylockO 函 数 ， 
为 我 没有 在 生成 代码 中 用 过 它 。 我 想 不 出 什么 时 候 程 序 希 要 “试看 去 锁 
一 锁 ?， 或 许 我 号 过 的 代码 太 人 简单 了 =。 

Condition class 的 实现 有 点 意思 。Pthreads condition variable 人 允许 在 
waitO 的 时 候 指 定 mutex， 但 是 我 想 不 出 有 什么 理由 一 个 condition variable 
会 和 不 同 的 mutex 配 合 使 用 。Java 的 intrinsic condition 和 Condition class 都 
人 因此 我 党 得 可 以 放弃 这 一 灵活 性 ， 老 老实 实地 一 对 一 好 

相反 ，boost'::thread 的 condition_variable 是 在 wait 的 时 候 指 定 mutex， 
请 参观 其 同步 原 语 的 庞杂 设计 : 


:Concept 有 四 种 Lockable、TimedLockable、SharedLockable、 
UpgradeLockable. 

:Lock 有 六 种 : lock_guard、unique_lock、shared_lock、 
upgrade_lock、 upgrade_to_unique_lock、scoped_try_lock。 

:Mutex 有 七 种 : mutex、try_mutex、timed_mutex、 
recursive_mutex、recursive_try_mutex、recursive_timed_mutex、 
shared mutex。 


想 我 恩 鳄 ， 见 到 boost'::thread 这 样 如 Rube Goldberg Machine 一 样 让 人 


眼花 乱 的 库 ， 我 只 得 三 指 纪 道 而 行 。 很 不 和 全 C++11 的 线程 库 也 采纳 了 
这 和 套 方 案 。 这 些 class 名 字 也 很 无 厘 头 ， 为 什么 不 老 老 实 实 用 
readers_writer_lock 这 样 的 通俗 名 字 呢 ?非得 增加 精神 负担 ， 目 己 发 明 新 
名 字 。 我 不 愿 为 这 样 的 灵活 性 付出 人 代价， 宁愿 自己 做 几 个 人 简 人 简单 时 的 一 
看 束 明 日 的 class 来 用 ， 这 种 条 日 的 几 行 代码 的 “轮子 ” 造 造 也 无 妨 。 提 供 
估 酒 全 固 然 怎 本 事 ， 然而 在 不 需要 灵活 性 的 地 方 把 代码 写 死 ， 更 需要 大 
贸 总 。 

下 面 这 个 muduo::Condition class 人 简单 地 封装 了 Pthreads condition 
variable， 用 起 来 也 容易 ， 见 本 方 前 面 的 例子 。 这 里 我 用 notify/notifyAll 
作为 函数 名 ， 因 为 signal 有 列 的 含义 ，C++ 里 的 signal/slot、C 里 的 


signalhandler 等 等 。 束 别 overload 这 个 术语 了 。 


class Condition : boost::noncopyable 


{ 
public: // 为 了 节省 版 面 ， 单 行 函数 没有 正确 缩 进 
explicit Condition(MutexLock& mutex) 
: mutex_(mutex) 
{ pthread_cond_init(&pcond_, NULLY: } 


~ConditionC) { pthread_cond _ destroyr(&pcond ): } 

vold walit() { pthread_cond_waitr&pcond_, mutex_.getPthreadMutex()); } 
void notify() { pthread_cond_signal(&pcond_); } 

vold notifyAll() { pthread_cond_broadcast(&pcond_); } 


private: 
MutexLock& mutex_: 
pthread_cond_t pcond _; 


如 果 一 个 class 要 包含 MutexLock 和 Condition， 请 注意 它们 的 声明 顺 
序 和 初始 化 顺序 ，mnutex 应 先 于 condition 构造 ， 并 作为 后 者 的 构造 参 
数 : 


class CountDownLatch 
ff 
public: 
CountDownLatch(int count) 
: mutex_(), 
condition_(mutex_), // 初始 化 顺序 要 与 成 员 声 明 保 持 一 致 
count_(count) 
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private: 
mutable MutexLock mutex_; // 顺序 很 重要 ， 先 mutex 后 condition 
Condition condition_: 
LInt count_: 
上 
请 允许 我 再 次 强调 ， 虽 然 本 章 化 了 大 量 篇 幅 介 绍 如 何 正 确 使 用 
mutex 和 condition variable， 但 并 不 代表 我 或 励 到 处 使 用 它们 。 这 两 者 都 
是 非常 的 层 的 同步 原 语 ， 主 要 用 来 实现 更 忆 级 的 并 发 编程 工具 。 一 个 多 
线程 程序 里 如 果 大 量 使 用 mutex 和 condition variable 来 同步 ， 基 本 跟 用 馈 
笔 刀 锯 大 树 〈 盏 后 语 ) 没 喻 区别 。 
在 程序 里 使 用 Pthreads 库 有 一 个 额外 的 好 处 : 分 析 工 具 认 得 它们 ， 


恒 得 其 语意 。 线 程 分 析 工 具 如 Intel Thread Checker 和 Valgrind-Helgrind3 
等 能 识别 Pthreads 调 用 ， 并 依据 happens-before 关 系 * 分 析 程 序 有 无 data 


2.5 ”线程 安全 的 Singleton 实 现 


研究 Singleton 的 线程 安全 实现 的 历史 会 发 现 很 多 有 意思 的 事情 ， 人 
们 一 度 认 为 double checked locking (缩写 为 DCL)， 是 王道 s， 兼 顾 了 效率 
与 正确 性 。 后 来 有 “ 神 牛 ”指出 由 于 乱 序 执行 的 影响 ，DCL 和 是 其 不 住 的 痉 
2。Java 开 及 着 还 算 蔷 运 ， 可 以 们 助 内 部 静态 类 的 半 载 来 实现 。C++ 束 比 
较 惨 ， 要 么 次 次 锁 ， 要 么 eager initialize， 或 者 动用 memory barrier 这 样 
的 “大 杀 器 ”a。 接 下 来 Java 5 修订 了 内 存 模 型 ， 并 给 volatile 赋 予 了 
acquire/release 语 义 ， 这 下 DCL (with volatile) 又 是 安全 的 了 。 然 而 
C++ 的 内 存 模 型 还 在 修订 中 2，C++ 的 volatile 目 前 还 不 能 〈 将 来 也 难说 ) 
保证 DCL 的 正确 性 (只 在 Visual C++ 2005 及 以 上 版 本 有 效 ) 。 

其 实 没 那么 国 烦 ， 在 实践 中 用 pthread_once 残 行 : 


muduo/base/Singleton.h 
template<typename T> 
class Singleton : boost::noncopyable 


public: 
static T& instance() 
{ 
pthread_once(&ponce_, &Singleton::1nit); 
return 大 Value_; 


private: 
Singleton(): 
~Singleton(): 


static void init() 
{ 
value_ = new T(); 
private: 
static pthread_once_t ponce_: 
static Tx Value_; 
}; 
// 必须 在 头 文件 中 定义 static 变量 
template<typename T> 
pthread_once_t Singleton<T>::ponce_ = PTHREAD_ONCE_INIT ; 


template<typename T> 
Tx Singleton<T>: :value_ = NULL: 
muduo/base/Singleton.h 


上 上面 这 个 Singleton 疫 有 任何 花哨 的 技巧 ， 它 用 pthread_once _t 来 保证 
lazy-initialization 的 线程 安全 。 线 程 安全 性 由 Pthreads 库 你 证 ， 如 果 系 统 
的 Pthreads 库 有 bug， 那 就 认命 吧 ， 多 线程 程序 反正 也 不 可 能 正确 执行 


了 。 

使 用 方法 也 很 简单 : 
Foo& foo = Singleton<Foo>: :instance(): 

这 个 Singleton 没 有 考虑 对 象 的 销毁 。 在 长 时 间 运 行 的 服务 右 程 序 
里 ， 这 不 是 一 个 问题 ， 反 正 进程 也 不 打算 正常 退出 〈89.2.2) 。 在 短期 
运行 的 程序 中 ， 程 序 退 出 的 时 候 目 然 吏 释 放 所 有 资源 了 《前 握 征 程序 里 
不 使 用 不 能 由 操作 系统 目 动 天 闭 的 资产， 比如 路 进程 的 mutex) 。 在 实 
际 的 muduo::Singleton class 中 ， 通 过 atexit(3) 提 供 了 销毁 功能 2， 聊 胜 于 
励 靶 J 了。 

另外， 这 个 Singleton 只 能 调用 默认 构造 疯 数 ， 如 果 用 户 想 要 指定 T 


的 构造 方式 ， 我 们 可 以 用 模板 特 化 〈template specialization ) 技术 来 提供 
一 个 定制 点 ， 这 需要 引入 另 一 层 间 接 (another level of indirection ) 。 


2.6 ”sleep(3) 个 是 同步 原 语 


我 认为 sleep(OyusleepOmanosleepO 只 能 出 现在 测试 代码 中 ， 比 如 写 单 
元 测试 的 时 候 2; 或 者 用 于 有 意 延 长 临界 区 ， 加 速 复 现 死 锁 的 情况 ， 驳 
像 $2.1.2 示 范 的 那样 。sleep 不 有 具备 memory barrier 语 义 ， 它 不 能 保证 内 存 
的 可 见 性 ， 见 此 处 的 例子 。 

生产 代码 中 线程 的 等 竺 可 分 为 两 种 : 一 种 是 等 待 资源 可 用 (有 要么 等 
在 select/pollepoll_wait 上 ， 要 么 等 在 条 件 变 量 上 2 ) ; 一 种 是 等 看 进入 
临 弄 区 《等 在 mutex 上 ) 以便 读 写 共 至 数据 。 后 一 种 等 得 通常 极 短 ， 酝 
则 程序 性 能 和 伸缩 性 就 会 有 问题 。 

在 程序 的 正 第 执行 中 ， 如 果 需 要 等 待 一段 已 知 的 时 间 ， 应 访 往 event 
loop 里 注册 一 个 timer， 然 后 在 timer 的 回调 函数 里 接着 干 活 ， 因 为 线程 是 
个 珍 吐 的 共 至 资源 ， 不 能 轻易 浪费 〈 阻 富 也 是 浪费 ) 。 如 条 等 符 某 个 事 
件 发 生 ， 那 么 应 该 采用 条 件 变 量 或 IO 事件 回调 ， 不 能 用 sleep 来 轮 询 。 不 
要 使 用 下 面 这 种 业余 做 法 : 
while (true) { 

if (ldataAvallable) 
sleep(some_time); 
else 

consumeDatat ); 

} 

如 有 果 多 线程 的 安全 性 和 效率 要 徘 代 人 码 主动 调用 sleep 来 你 证 ， 这 显然 
是 设计 出 了 问题 。 等 待 菜 个 事件 发 生 ， 正 确 的 做 法 是 用 select() 等 价 物 或 
Condition， 抑 或 “更 理想 地 ) 高 层 同 步 工 具 ; 在 用 户 态 做 轮 询 
(polling) 是 低 效 的 。 


2.7 ”归纳 与 总 结 


十 面 儿 市 内 容 归 纳 如 下 : 


线程 同步 的 四 项 原则 ， 尽 量 用 高 层 同步 设施 “〈 线 程 池 、 队 列 、 倒 
计时 ) ; 


:使 用 普通 互 斥 磺 和 条 件 变量 完成 剩余 的 同步 任务 ， 采 用 RAI 人 惯用 
手法 (idiom) 和 Scoped Locking。 


用 好 这 几 样 朱 西 ， 基 本 上 束 能 应 付 多 线程 服务 病 开 发 的 各 种 场合 。 
或 许 有 人 会 觉得 性 能 没有 发 挥 到 极致 。 我 认为 ， 应 该 先 把 程序 写 正 确 
(并 尽量 保持 清晰 和 简单) ， 然 后 再 考虑 性 能 优化 ， 如 果 硝 实 还 有 必要 
优化 的 话 。 这 在 多 线程 下 仍然 成 立 。 让 一 个 正确 的 程序 变 快 ， 远 比 “ 让 
一 个 快 的 程序 变 正 人 确 ” 容 易 得 多 。 

在 现代 的 多 核 计 算 背 景 下 ， 多 线程 是 不 可 避免 的 。 尽 管 在 一 定 程度 
上 可 以 通过 framework 来 屏 歼 ， 让 你 感觉 像 古 在 写 早 线程 程序 ， 比 如 Java 
Servlet。 了解 under the hood 发 生 了 什么 对 于 编写 这 种 程序 也 会 有 帮助 。 

多 线程 编程 是 一 项 重要 的 个 人 技能 ， 不 能 因为 它 难 束 本 能 地 排斥 ， 
现在 的 软件 开发 比 起 10 年 、20 年 前 已 经 难 了 不 知道 多 少 倍 。 和 掌握 多 线程 
编程 ， 才 能 更 理智 地 选择 用 还 是 不 用 多 线程 ， 因 为 你 能 预 估 多 线程 实现 
的 难度 与 收 巷 ， 在 一 开始 做 出 正确 的 选择 。 要 知道 把 一 个 单线 程 程 序 改 
成 多 线程 的 ， 往 往 比 从 头 实现 一 个 多 线程 的 程序 更 困难 。 要 明白 多 线程 
编程 中 哪些 是 能 做 的 ， 哪 里 是 一 般 程 序 员 应 该 避 开 的 雷 区 。 

掌握 同步 原 语 和 它们 的 适用 场合 是 多 线程 编程 的 基本 功 。 以 我 的 经 
验 ， 台 练 使 用 文中 提 到 的 同步 原 语 ， 束 能 比较 容易 地 编写 线程 安全 的 程 
序 。 本 文 没 有 考虑 signal 对 多 线程 编程 的 影响 〈84.10) ，Unix 的 signal 在 
多 线程 下 的 行为 比较 复杂 ， 一 般 要 靠 确 层 的 网 络 库 〈 如 Reactor) 加 以 屏 
艇 ， 避 人 免 干扰 上 层 应 用 程序 的 开发 。 

通 篇 来 看 , “效率 ”并 不 是 我 的 主要 考虑 点 ， 我 提倡 正确 加 锁 而 不 是 
目 己 编写 lock-free 算 法 〈 使 用 原子 整数 除外 ) ， 更 不 要 想当然 地 目 己 发 
明 同 步 设 施 4*。 在 没有 实测 数据 文 持 的 情况 下 ， 雪 谈 哪 种 做 法 效率 更 高 
是 靠不住 的 s， 不 能 听信 传言 或 任 感 党“ 优化”。 很 多 人 误 认 为 用 锁 会 让 
程序 变 慑 ， 其 实 真 正 影 啊 性 能 的 不 是 锁 ， 而 是 锁 争 用 〈]lock contention ) 
s。 在 程序 的 复杂 上 度 和 性 能 之 前 取得 平衡 ， 并 考虑 未 来 两 三 年 扩容 的 可 
能 〈 无 论 是 CPU 变 快 、 核 数 变 多 ， 还 是 机 器 数量 增加 、 网 络 升 级 ) 。 我 
认为 在 分 布 式 系 统 中 ， 多 机 伸缩 性 〈scale out) 比 单机 的 性 能 优化 更 值 
得 投入 精力 。 

本 章 内 容 记 录 了 我 目前 对 多 线程 编程 的 理解 ， 用 文中 介绍 的 手法 ， 
我 能 化 党 为 向 ， 编 写 容 易 验 证 其 正 硝 性 的 多 线程 程序 ， 解 决 目 己 面临 的 
全 部 多 线程 编程 任务 。 如 果 本 章 的 观点 与 你 的 经 验 不 合 ， 比 如 你 使 用 了 
我 没有 推荐 使 用 的 技术 或 手法 (共享 内 和 存 、 信 号 量 等 等 ) ， 只 要 你 理由 
充分 ， 但 行 无 妨 。 


2.8 ” 信 shared_ptr 实 现 copy-on-write 


本 市 解决 82.1 的 几 个 未 决 问题 : 


“82.1.1post() 和 traverse() 死 锁 。 
“82.1.2 把 Request::print() 移 出 Inventory::printAllO 临 寞 区 。 
“82.1.2 解 决 Request 对 象 析 构 的 race condition。 


然后 再 示 沁 用 普通 mutex 从 换 读 写 饮 。 解 决 办 法 都 基于 同一 个 岂 
路 ， 那 就 是 用 shared_ptr 来 官 理 共享 数据 。 原 理 如 下 : 


:Shared_ptr 是 引用 计数 型 智能 指针 ， 如 条 当前 只 有 一 个 观察 者 ， 那 
么 引用 计数 的 值 为 12。 

:对 于 write 闪 ， 如 末 友 现 引 用 计数 为 1， 这 时 可 以 安全 地 修改 共 吾 对 
象 ， 不 必 担 心 有 人 正在 谈 它 。 

:对 于 read 靖 ， 在 旋 之 前 把 引用 计数 加 1， 旋 完 之 后 减 1， 这 样 剑 证 在 
旋 的 期 间 其 引用 计数 大 于 1， 可 以 阻止 并 友 与 。 

:比较 难 的 是 ， 对 于 write 病 ， 如 末 肥 现 引 用 计数 关于 1， 访 如 何 处 
理 ? sleep() 一 小 段 时 间 肯 定 是 错 的 。 


先 来 看 一 个 简 早 的 例子 ， 解 决 82.1.1 中 的 post() 和 traverse() 死 锁 。。 
数据 结构 改 成 : 


typedef std::vector<Foo> FooList; 

typedef poost: :shared_ptr<FooList> FooListPtr; 
MutexLock mutex : 

FooListPtr g_foos: 

在 read 端 ， 用 一 个 栈 上 局 部 FooListPtr 变 量 当做 “观察 者 ”， 它 使 得 
g_foos 欠 引用 计数 增加 (L6)。traverse0O 函 数 的 临界 区 是 L4~L8， 临 寞 区 
内 只 恋 了 一 次 共享 变量 g_foos 〈 这 里 多 线程 并 发 谈 写 shared_ptr， 因 此 必 
须 用 mutex 人 保护) ， 比 原来 的 写法 大 为 绾 短 。 而 且 多 个 线程 同时 调用 
traverse() 也 不 会 相互 阻 吃 。 


1 vold traverset() 

2 + 

3 FooListPtr foos， 

4 t 

5 MutexLockGuard lock(mutex): 

6 foos = g_foos: 

7 assert(lg_foos.unigquec)): 

8 上 

10 // assert(!foos.unique()):; 这 个 断言 不 成 立 
11 for (std::vector<Foo>::const_iterator it = foos->begind):; 
12 it I= foos->end(); ++it) 

13 { 

14 1t->d01t( ); 

15 + 

16 1} 


关键 看 write 端的 post(O 访 如 何 写 。 投 照 前 面 的 摘 述 ， 如 琳 
g_foos.unique() 为 tue， 我 们 可 以 放心 地 在 原 地 〈in-place) 修改 
FooList。 如果 g_foos.unique() 为 false， 说 明 这 时 别 的 线程 正在 读 取 
FooList， 我 们 不 能 原 地 修改 ， 而 是 复制 一 份 〈L23) ， 在 副本 上 修改 

(L27) 。 这 样 贺 避免 了 和 死 锁 。 


17 void post(const Foo& ff) 


18 1 

19 printf("post\n”" ) ; 

20 MutexLockGuard lock(mutex): 

21 if (lg_foos.unique()) 

2 

23 g_foos.reset(new FooList(*g_foos)); / : 
24 printf("copy the whole list\n"); // 练习 : 将 这 向 话 移 出 临界 区 
25 } 

26 assert(g_foos.unique()): 

27 g_foos->push_back(f):; 

28 1} 


注意 这 里 I 临 界 区 包括 整个 函数 〈L20~27) ， 其 他 写法 都 是 错 
的 。 读 者 可 以 试 独 运行 这 个 程序 ， 看 看 什么 时 候 会 打印 24 的 消 四 。 练 
习 : 找 出 以 下 几 种 写法 的 错误 。 


// 错误 一 : 直接 修改 g_foos 所 指 的 FooList 
vold post(const Foo& f) 


MutexLockGuard lock(mutex); 
g_foos->push_back(f):; 


} 


// 错误 二 : 试图 缩小 临界 区 ， 把 copying 移出 临界 区 
vold posttconst Foo& f) 


{ 
FooListPtr newFoos(new FooList(*xg_foos))}); 
newFoos->push_back(f ): 
MutexLockGuard lock(mutex):; 
g_foos = newFoos:; /7 或 者 g_foos. swap(newFoos):; 
上 


// 错误 三 : 把 临界 区 拆 成 两 小 小 的 ， 把 copying 放 到 上 临界 区 之 外 
VDlId post({const Foo& f) 
{ 
FooListPtr oldFoos. 
{ 
MutexLockGuard lock(mutex). 
oldFoos = g_foos:;: 


FooListPtr newFoos(new FooList(*oldFoos)): 
newFoos->push_back (fy): 

MutexLockGuard lock(mutex):; 

g_foos = newFoos; // 或 者 g_foos. swap(newFoosy): 


人 再 来 看 如 何 用 相同 的 思路 解决 
和 独 下 昌 问 题 。 

解决 $2.1.2 把 Request::printO 移 出 Inventory::printAl10I 临 界 区 有 两 个 做 
法 。 其 一 很 和 丛 单 ， 把 requests 复制 一 份 ， 在 临界 区 之 外 表 历 这 个 副本 。 


void Inventory: :printAll() const 
std: :set<Request*> requests 


muduo: :MutexLockGuard lock(mutex_):;: 
requests = requests_; 
】} 
// 遍历 局 部 变量 requests， 调 用 Request: :print() 

这 么 做 有 一 个 明显 的 缺点 ， 它 复制 了 整个 std::set 中 的 每 个 元 系 ， 开 
销 可 能 会 比较 大 。 如 束 过 历 期 间 没 有 其 他 人 修改 requests _， 那 么 我 们 可 
以 减 小 开销 ， 这 束 引 出 了 第 二 种 做 法 。 

第 二 种 做 法 的 要 点 是 用 shared_ptr 管 理 std::set， 在 裔 历 的 时 候 先 增加 
引用 计数 ， 阻 止 并 发 修改 。 当 然 Inventory::add() 和 Inventory::remove() 也 
要 相应 修改 ， 采 用 本 节 前 面 post0 和 traverse0O 的 方案 。 完 整 的 代码 见 
recipes/thread/test/Request-Inventory test.cc 。 

注意 目前 的 方案 仍然 没有 人 解决 Request 对 象 析 构 的 race condition， 这 
点 还 是 留 作 练习 吧 。 一 种 可 能 的 答案 见 
recipes/thread/test/Requestinventory test2.c 。 


用 普通 mutex 符 换 读 写 锁 的 一 个 例子 


场景 :一 个 多 线程 的 C++ 程序 ，24h x 5.5d 运 行 。 有 几 个 工作 线程 
ThreadWorker{0, 1, 2, 3}， 处 理 客户 发 过 来 的 交易 请 求 ， 为 外 有 一 个 背 
了 线程 ThreadBackground， 不 定期 更 新 程序 六 部 的 参考 数据 。 这 些 线程 
都 跟 一 个 hash 表 打交道 ， 工 作 线 程 只 谈 ， 痛 景 线 程 谈 写 ， 必 然 要 用 到 一 
些 同步 机 制 ， 防 止 数 据 损坏 。 这 里 的 示例 代码 用 std::map 代 蔡 hash 表 ， 


意思 是 一 样 的 : 


Using namespace std: 
typedef map<string, vector<pair<string, int> > > Map: 


Map 的 key 是 用 户 名 ，value 是 一 个 vector， 里 边 存 的 是 不 同 stock 的 最 
小 交易 间 隅 ，vector 已 经 排 好 序 ， 可 以 用 二 分 得 找 。 

我 们 的 系统 要 求 工 作 线程 的 延 返 尽 可 能 小 ， 可 以 容 八 背景 线程 的 延 
达 略 大 。 一 天 之 内 ， 青 景 线程 对 数据 更 靳 的 侈 数 屈指 可 数 ， 最 多 一 小 时 
一 次 ， 更 新 的 数据 来 目 于 网 络 ， 所 以 对 更 新 的 及 时 性 不 敏感 。Map 的 数 
据 量 也 不 大 ， 大 约 一 干 多 条 数据 。 


最 简单 的 同步 办 法 是 用 读 写 锁 : 工作 线程 加 旋 锁 ， 硼 景 线 程 加 写 
锁 。 但 是 读 写 锁 的 开销 比 普 通 mutex 要 大 ， 而 且 是 写 锁 优先 ， 会 阻塞 后 
面 的 读 锁 。 ne eit 通 的 非 重 入 mutex 实 现 同 步 ， 就 不 必 
谈 写 锁 ， 这 能 降低 工作 线程 延迟 。 我 们 信 助 shared_ptr 做 到 了 这 一 


太 : anda ) 


class CustomerData : boost::noncopyable 


{ 
public: 
CustomerData() : data_(new Map) 


3 
int query(const string& customer, const string& stock) const ; 


private: 

typedef std::pair<string, int> Entry; 

typedef std::vector<Entry> EntryList.: 

typedef std::map<string, EntryList> Map: 

typedef boost::shared_ptr<Map> MapPtr: 

void update(const string& customer, const EntryList& entries): 


// 用 lower_bound 在 entries 里 找 stock 
static int findEntry(const EntryList& entries, const string& stock): 


MapPtr getDatat) const 


MutexLockGuard lock(mutex_): 
return data_: 


} 


mutable MutexLock mutex_; 
MapPtr data_; 
}; 
CustomerData::query0 束 用 前 面 说 的 引用 计数 加 1 的 办 法 ， 用 局 部 
MapPtr data 变 量 来 持 有 Map， 防 止 并 有 友 修 改 。 


int CustomerData: :guery(const string& customer, const string& stock) const 
{ 

MapPtr data = getData(); 

// data 一 旦 拿 到 ， 就 不 再 需要 领 了 。 | 

// 取 数 据 的 时 候 只 有 getData() 内 部 有 人 锁 ， 多 线程 并 发 读 的 性 能 很 好 。 


Map: :const_iterator entries = 0Oata->flndtcustomer ) ; 


if (entries != data->end(})) 

return findEntry(entries->second, stock)}): 
else 

return -1:; 


关键 看 CustomerData::update0 怎 么 写 。 既 然 要 更 新 数据 ， 那 肯定 得 
加 锁 ， 如 来 这 时 候 其 他 线程 正在 读 ， 那 么 不 能 在 原来 的 数据 上 修改 ， 得 
创建 一 个 副本 ， 在 副本 上 修改 ， 修 改 完 了 再 符 换 。 如 采 没 有 用 户 在 旋 ， 
那么 束 能 直接 修改 ， 节 约 一 次 Map 找 贝 。 

// 每 次 收 到 一 个 customer 的 数据 更 新 
vold CustomerData: :update(const string& customer, const EntryList& entries) 


{ / 
MutexLockGuard lock(mutex_): // update 必须 至 程 持 锁 
if (ldata_.uniquef)) 
MapPtr newDatatnew Map(xdata_)) 
// 在 这 里 打印 日 志 ， 然 后 统计 日 志 来 判断 worst case 发 生 的 次 数 
data_. swap(newData): 


上 
assert(data_.unilque()); 
(xdata_)[Lcustomer] = entries; 


注意 其 中 用 了 shared_ptr::unique0) 来 判断 是 不 是 有 人 在 谈 ， 如 果 有 人 
在 谈 ， 那 么 我 们 不 能 直接 修改 ， 因 为 query0 并 没有 全 程 加 锁 ， 只 在 
getData() 内 部 有 人 锁 。shared_ptr::swap0 把 data_ 蔡 换 为 新 副本 ， 而 且 我 们 
还 在 锁 里 ， 不 会 有 列 的 线程 来 恋 ， 可 以 放心 地 更 新 。 如 有 果 别 的 reader 线 
程 已 经 刚刚 通过 getData0 拿 到 了 MapPtr， 它 会 读 到 稍 旧 的 数据 。 这 不 是 
问题 ， 因 为 数据 更 新 来 自 网 络 ， 如 果 网 络 和 有 延迟 ， 反 正 reader 线 程 也 
会 证 到 旧 的 数据 。 

如 果 每 次 都 更 新 全 部 数据 ， 而 且 始 终 是 在 同一 个 线程 更 新 数据 ， 临 
界 区 还 可 以 进一步 缩小 。 


MapPtr parseData(const string& message); // 解析 收 到 的 消息 ， 返 回 新 的 MapPtr 


// 函数 原型 有 变 ， 此 时 网 络 上 传 来 的 是 完整 的 Map 数据 
void CustomerData: :update(const strineg& messapge) 
\ ee / 

// 解析 新 数据 ， 在 临界 区 之 外 

MapPtr newData = parseData(message): 

1f+ (newData) 

{ 


MutexLockGuard lock(mutex_): 
data_.swap(newData); // 不 要 用 data_ = newData; 


} 
// 旧 数 据 的 析 构 也 在 临界 区 和 外， 进一步 缩短 了 临界 区 


据 我 们 测试 ， 大 多 数 情况 下 更 新 部 是 在 原来 数据 上 进行 的 ， 找 贝 的 
比例 还 不 到 1%， 很 高 效 。 更 准确 地 说 ， 这 不 是 copy-on-write， 而 是 
copy-on-other-reading.。 

我 们 将 来 可 能 会 采用 无 锁 数 据 结 构 ， 不 过 目前 这 个 实现 已 经 非 第 
好 ， 可 以 满足 我 们 的 要 求 。 
人 但 理解 起 来 要 容 

得 多 。 


Parallel Virtual Machine 似 乎 已 经 退出 主流 HPC 了 。 
教程 可 参考 : https://computing.llnl.gov/tutorials/pthreads 。 


[RWC]: Use wait- and lock-free structures only if you absolutely must. 
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19 Java 的 这 三 个 函数 以 容易 用 错 蔷 称 ， 一 般 建 议 用 java.util.concurrent 中 的 同步 原 语 。 

20 http://en.wikipedlia.org/Wwiki/Spurious wakeup 

21 [RWC]"Know when to broadcast—and when to signal." 
22 ”muduo::Condition 采 用 了 notifyO0 和 notifyAl10O 为 函数 名 ， 有 避免 重 载 signal 这 个 术语 。 

实际 使 用 时 一 般 会 做 成 类 模板 ， 如 muduo/base/BlockingQueue.h 。 
http://blog.csdn.net/Solstice/article/detalls/2829421#comments 
muduo/base/CountDownLatch. {h,cc} 
就 像 与 非 门 和 D 触 发 妖 构 成 了 数字 电路 设计 所 需 的 全 部 基础 元 件 一 样 ， 用 它们 可 以 完 
成 任何 组 合 和 同步 时 序 光 辑 电路 设计 

27 http://www.drdobbs.com/cpp/lock-free-code-a-false-sense-of-security/210600279 
28 [RWC]"Be wary of readers/writer locks." 
29 ”在 多 线程 编程 中 ， 我 们 总 是 设法 缩短 临界 区 ， 不 是 吗 ? 
Pthreads rwlock 不 允许 提升 。 
http://en.wikipedla.org/WIkI/Read-copy-update 

32 ”trylock 的 一 个 用 途 是 用 来 观察 lock contention， 见 [RWC]“Consider using nonblocking 
synchronization routines to monitor contention.” 

33 http://valgrind.org/docs/manual/hg-manual.html#hg-manual.data-races.algorithm 

34 http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf 

35 http://www.cs.wustl.edu/~schmidt/PDF/DC-Locking.pdf 

36 http://www.cs.umd.edu/~pugh/java/memoryModel/DoubleCheckedLocking.html 

37 http://wwwjavaworld.com/Jw-02-2001/jw-0202-double.html 

38 ”这 个 义 让 我 想起 了 SQL 注 入 ，10 年 前 用 字符 串 拼 接 出 SQL 语 句 是 Web 开 友 的 通行 做 
法 ， 和 直到 有 一 天 有 人 利用 这 个 漏洞 越权 获得 并 修改 网 站 数据 ， 人 们 才 幅 然 醒悟 ， 赶 案 修 补 。 

39 http://www.arlstela.com/Papers/DD] Jul Aug 2004 revised.pdf 

40 ”C++11 已 经 有 了 全 新 定义 的 内 存 模型 ， 见 
http://scottmeyers.blogspot.com/2012/04/information-on-cl1-memory-model.html 。 

41 Linux 上 sysconf(_SC_ATEXIT_MAX): 返 回 一 个 足够 大 的 数 ， 不 必 担 心 
ATEXIT_MAX(32) 的 限制 。 

42 ”涉及 时 间 的 蛙 元 测试 不 那么 好 写 ， 短 的 如 一 两 秒 ， 可 以 用 sleepQO); 长 的 如 一 小 时 、 
天 ， 则 得 想 其 他 办 法 ， 比 如 把 算法 提取 出 来 并 把 时 间 注入 进去 。 

43 ”等 等 BlockingQueue/CountDownLatch 亦 可 归 入 此 类 ， 

44 《Ad Hoc Synchronization Considered Harmful》 
https://www.usenix.org/events/osdi10/tech/full papers/Xiong.pdf 。 

45 http://pdos.csall.mit.edu/papers/linux:osdi10.pdf 

46 http://preshing.com/20111118/locks-arent-slow-lock-contention-is 

47 在 实际 代码 中 判断 shared_ptr::uniqueO 是 否 为 true。 
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第 3 草 ” 多 线程 服务 货 的 适用 场合 与 音 用 编程 模型 


本 章 主 要 讲 我 个 人 在 多 线程 开发 方面 的 一 些 粗 浅 经 验 。 总 络 了 一 两 
种 常用 的 线程 模型 ， 归 纳 了 进程 间 通 信 与 线程 同步 的 最 佳 实践 ， 以 期 用 
简单 规范 的 方式 开发 功能 正确 、 线 程 安全 的 多 线程 程序 。 本 章 假 定 读者 
己 经 有 多 线程 编程 的 知识 与 经 验 〈 本 书 不 是 一 篇 入 门 教 程 ) 。 

文中 的 “多 线程 服务 器 ”是 指 运行 在 Linux 操 作 系 统 上 的 独占 式 网 络 
应 用 程序 。 硬 件 平 台 为 Intel x86-64 系 列 的 多 核 CPU， 单 路 或 双 路 SMP 服 
务 絮 (每 台 机 右 一 共 拥 有 四 个 核 或 八 个 核 ， 十 几 GB 内 存 )， 机 妖 之 间 
用 干粮 以 太 网 连接 。 这 大 概 是 目前 民用 PC 服务 右 的 主流 配置 。 不 考虑 
做 分 布 式 存储 ， 只 考虑 分 布 式 计算 ， 系 统 的 规模 大 约 是 几 十 从 服务 右 到 
几 百 从 服务 器 之 间 。 

我 将 要 谈 的 “网 络 应 用 程序 ”的 基本 功能 可 以 简单 归纳 为 “ 收 到 数 
据 ， 算 一 算 ， 再 发 出 去 ”。 在 这 个 简化 了 的 模型 里 ， 人 似乎 看 不 出 用 多 线 
程 的 必要 ， 单 线程 应 该 也 能 做 得 很 好 。 “为 什么 需要 写 多 线程 程序 "这 个 
人 gn 我 放 到 8§3.5 讨 论 。 请 允许 我 先 假定 “多 线程 编 

“服务 器 ”这 个 词 有 时 指 程序 ， 有 了 时 指 进程 ， 有 时 指 硬件 (无 论 虚拟 
的 或 真实 的 ) ， 请 注意 按 上 下 文 区 分 。 男 外 ， 本 书 不 考虑 虚拟 化 的 场 
景 ， 当 我 说 “两 个 进程 不 在 同一 台 机 器 上 ”时 ， 指 的 是 逻辑 上 不 在 同一 个 
ri 虽然 物理 上 可 能 位 于 同一 机 器 虚拟 出 来 的 两 台 “ 虚 拟 
J 


3.1 进程 与 线程 


“进程 〈process) ”是 操作 里 最 重要 的 两 个 概念 之 一 《〈 画 一 个 是 文 
件 ) ， 粗 略 地 讲 ， 一 个 进程 是 “内 存 中 正在 运行 的 程序 ”。 本 书 的 进程 指 
的 是 Linux 操 作 系 统 通 过 fork0O 系 统 调 用 产生 的 那个 东西 ， 或 者 Windows 
下 CreateProcess() 的 产物 ， 不 是 Erlang 里 的 那 种 “ 轻 量 级 进程 (Actor) ”。 

每 个 进程 有 自己 独立 的 地 址 空间 (address space) , “在 同一 个 进 
程 ? 还 是 “不 在 同一 个 进程 ?是 系统 功能 划分 的 重要 雇 生 点 。 《Erlang 程 序 
设计 》[ERL] 把 “进程 ?比喻 为 “人 ”， 我 觉得 十 分 精 当 ， 为 我 们 提供 了 一 
个 思考 的 框架 。 

每 个 人 有 自己 的 记忆 (memory) ， 人 与 人 通过 谈话 ( 消 明 传递 ) 


来 交流 ， 谈 话 既 可 以 是 面谈 《同一 台 服 务 闫 ) ， 也 可 以 在 电话 里 谈 〈 不 
同 的 服务 器 ， 有 网 络 通 信 ) 。 面 谈 和 电话 谈 的 区 别 在 于 ， 面 谈 可 以 立即 
知道 对 方 是 否 死 了 (〈crash, SIGCHLD) ， 而 电话 谈 只 能 通过 周期 性 的 心 
跳 来 判断 对 方 是 合 还 活 看 。 

有 J 了 这 些 比 喻 ， 设 计 分 布 式 系统 时 可 以 采取 “角色 扮演 ”"， 团 队 里 的 
儿 个 人 各 目 扮 演 一 个 进程 ， 人 的 角色 由 进程 的 代码 决定 〈( 官 登录 的 、 官 
消息 分 友 的 、 管 买卖 的 等 等 ) 。 每 个 人 有 目 己 的 记忆 ， 但 不 知道 别人 的 
记忆 ， 要 想 知 道别 人 的 看 法 ， 只 能 通过 交谈 〈 蜀 不 考虑 共 圣 内 和 存 这 种 
IPC) 。 然 后 就 可 以 思考 : 


“容错 万 一 有 人 突然 死 了 

扩容 新 人 中 途 加 进来 

负载 均衡 ”把 甲 的 活 儿 挪 给 乙 做 
; a 帮 要 修复 bug， 先 别 派 新 任务 ， 守 他 做 完 手 上 的 事情 束 
区 电 


等 等 各 种 场景 ， 十 分 便利 。 

“线程 ”这 个 概念 大 概 是 在 1993 年 以 后 才 慢 慢 流 行 起 来 的 ， 距 今 不 到 
20 年 ， 比 不 得 有 40 年 光辉 历史 的 Unix 操 作 系 统 。 线 程 的 出 现 给 Unix 添 了 
不 少 乱 ， 很 多 C 库 函数 (strtok()、ctime()) 不 是 线程 安全 的 ， 需 要 重新 
定义 〈84.2) ; signal 的 语意 也 大 为 复杂 化 。 据 我 所 知 ， 最 早 文 持 多 线程 
编程 的 〈 民 用 ) 操作 系统 是 Solaris 2.2 和 Windows NT 3.1， 它 们 均 发 布 于 
1993 年 。 随 后 在 1995 年 ，POSIX threads 标 准确 立 。 

线程 的 特点 是 共 圣 地 址 空间 ， 从 而 可 以 高 效 地 共 圣 数据。 一 台 机 如 
上 的 多 个 进程 能 高 效 地 共 孚 代 但 段 〈 操 作 系 统 可 以 映射 为 同样 的 物理 内 
存 ) ， 但 不 能 共 孚 数据 。 如 末 多 个 进程 大 量 共 孚 内 存 ， 等 于 古 把 多 进程 
程序 当成 多 线程 来 写 ， 掩 耳 盗 铃 。 

“多 线程 ”的 价值 ， 我 认为 是 为 了 更 好 地 友 挥 多 核 处 理 融 (multi- 
cores) 的 效能 。 在 单 核 时 代 ， 多 线程 没有 多 大 价 仁 。Alan Cox 说 过 : “A 
computer is a state machine. Threads are for people who can't program state 
machines.”( 计 算 机 是 一 台 状 态 机 。 线 程 是 给 那些 不 能 编写 状态 机 程序 
的 人 准备 的 。) 如 果 只 有 一 块 CPU、 一 个 执行 单元 ， 那 么 确实 如 Alan 
Cox 所 说 ， 按 状态 机 的 思路 去 写 程 序 是 最 高 效 的 ， 这 正好 也 古 下 一 世 展 
示 的 编程 模型 。 


3.2 ”单线 程 服务 器 的 常用 编程 模型 


[UNP] 对 此 有 很 好 的 总 络 《〈 第 6 章 的 IO 模型 、 第 30 章 的 客户 疹 / 服 
务 合 设计 范式 ) ， 这 里 不 再 闹 述 。 据 我 了 解 ， 在 局 性 能 的 网 络 程序 中 ， 
使 用 得 最 为 广泛 的 恐怕 要 数 “non-blocking IO 十 IO multiplexing” 这 种 模 
型 ， 即 Reactor 模 式 !:， 我 知道 的 有 : 


lighttpd， 单 线程 服务 器 。 (Nginx 与 之 类 似 ， 每 个 工作 进程 有 一 个 
event loop。) 

“libevent, libev。 

“ACE, Poco C++ libraries.。 

“Java NIO， 包 括 Apache Mina 和 Netty。 

:POE (Perl) 。 

"Twisted (Python) 。 


相反 ，Boost.Asio 和 Windows IO Completion Ports 实 现 了 Proactor 模 

式 :， 应 用 面 似乎 要 罕 一 些 。 此 外 ，ACE 也 实现 了 Proactor 横 式 。 

在 “non-blocking IO 十 IO multiplexing” 这 种 模型 中 ， 程 序 的 基本 结构 
古 一 个 事件 循环 (event loop，〉， 以 事件 驱动 (event-driven〉 和 事件 回 
调 的 方式 实现 业务 逻辑 : 
1/1/ 代码 仅 为 示意 ， 没 有 完整 考虑 各 种 情况 
while (ldone) 
{ 
int tijmeout_ms = max(10600, getNextliimedCcallback()): 
int retval = ::poll(fds, nfds, timeout_ms)}): 
if (retval < @) { 
处 理 错误 ， 回 调用 户 的 error handler 

} else 1 
处 理 到 期 的 timers， 回 调用 尸 的 timer handler 
if tretval > 6@) 1 

处 理 IO 事 忻 ， 回 调用 户 的 IO event handler 

} 

} 

上 


这 里 select(2)/poll(C2) 有 伸缩 性 方面 的 不 足 ，Linux 下 可 符 换 为 
epoll(4)， 其 他 操作 系统 也 有 对 应 的 高 性 能 蔡 代 品 :。 

Reactor 模 型 的 优点 很 明显 ， 编 程 不 难 ， 效 率 也 不 错 。 不 仅 可 以 用 于 
谈 写 Socket， 连 接 的 建立 〈connect(2)J/accept(2)) 甚至 DNS 解析 :都 可 以 
用 非 阻 堵 方 式 进行 ， 以 提高 并 发 度 和 厨 吐 量 (throughput) ， 对 于 IO 密 
集 的 应 用 是 个 不 错 的 选择 。lighttpd 束 是 这 样 ， 它 内 部 的 fdevent 结 构 十 分 


精妙 ， 值 得 学 习 。 

基于 事件 张 动 的 编程 模型 也 有 其 本 质 的 缺点 ， 它 要 求 事件 回调 函数 
必须 是 非 阻 枚 的 。 对 于 涉及 网 络 IO 的 请 求 啊 应 式 协 议 ， 它 容易 割裂 业务 
逻辑 ， 使 其 散布 于 多 个 回调 函数 之 中 ， 相 对 不 容易 理解 和 维护 。 现 代 的 
语言 有 一 些 应 对 方法 〈 例 如 coroutine) ， 但 是 本 书 只 关注 C++ 这 种 传统 
语言 ， 因 此 就 不 展开 讨论 了 了。 


3.3 ”多 线程 服务 器 的 常用 编程 模型 


这 方面 我 能 找到 的 文献 ;不 多 ， 大 概 有 这 么 几 种 〈 见 86.6 更 详细 的 讨 


论 ) 


1. 每 个 请 求 创建 一 个 线程 ， 使 用 阻 鹤 式 IO 控 作 。 在 Java 1.43| 入 
NIO 之 前 ， 这 是 Java 网 络 编程 的 推荐 做 法。 可 惜 伸缩 性 不 佳 。 

2. 使 用 线程 池 ， 同 样 使 用 阻 守 却 IO 操作 。 与 第 1 种 相 比 ， 这 是 提高 
性 能 的 撞 施 。 

3. 使 用 non-blocking IO 十 IO multiplexing。 即 Java NIO 的 方式 。 

4. LeadervFollower 等 高 级 模式 。 


在 默认 情况 下 ， 我 会 使 用 第 3 种 ， 即 non-blocking IO 十 one loop per 
thread 模 式 来 编写 多 线程 C++ 网 络 服务 程序 。 


3.3.1 one loop per thread 


此 种 模型 下 ， 程 序 里 的 每 个 IO 线程 有 一 个 event loop〔 或 者 叫 
Reactor) ， 用 于 处 理 读 写 和 定时 事件 《无 论 周 期 性 的 还 是 单 次 的 ) ， 代 
代 框 染 跟 83.2 一 样 。 

libev 的 作者 说 5: 


One loop per thread is usually a good model. Doing this is almost 
never wrong, sometimes a better-performance model exists, but it is always a 
good start. 


这 种 方式 的 好 处 是: 
-线程 数 日 基本 固定 ， 可 以 在 程序 局 动 的 时 候 设 置 ， 不 会 频 蛤 创建 


.可 以 很 方便 地 在 线程 间 调配 负载 ， 
IO 事件 发 生 的 线程 是 国定 的 ， 同 一 个 TCP 连 接 不 必 考 虑 事件 并 


Eventloop 代 表 了 线程 的 主 循环 ， 需 要 让 哪个 线程 干 活 ， 束 把 timer 
或 IOchannel (如 TCP 连 接 ) 注册 到 哪个 线程 的 loop 里 即 可 。 对 实时 性 有 
要 求 的 connection 可 以 单独 用 一 个 线程 ， 数 据 量 大 的 connection 可 以 独占 
一 个 线程 ， 并 把 数据 处 理 任 务 分 摊 到 另 几 个 计算 线程 中 《用 线程 池 ) ; 
其 他 次 要 的 辅助 性 connections 可 以 共享 一 个 线程 。 

对 于 non-trivial 的 服务 端 程序 ， 一 般 会 采用 non-blocking IO 十 IO 
multiplexing， 每 个 connection/acceptor 都 会 注册 到 菜 个 event loop 上 ， 程 
序 里 有 多 个 event loop， 每 个 线程 至 多 有 一 个 event loop。 

多 线程 程序 对 event loop 提 出 了 更 局 的 要 求 ， 那 束 是 “线程 安全 ”。 要 
允许 一 个 线程 往 别 的 线程 的 loop 里 畦 东西 :， 这 个 loop 必 须 得 是 线程 安全 
的 。 如 何 实现 一 个 优质 的 多 线程 Reactor? 可 参考 第 8 章 。 


3.3.2 ”线程 池 


不 过 ， 对 于 没有 IO 而 光 有 计算 任务 的 线 和 在， 使 用 event loop 有 点 良 
费 ， 我 会 用 一 种 补充 方案 ， 即 用 blocking queue 实 现 的 任务 队列 
(TaskQueue) : 


typedef boost::function<void()> Functor ; 
BlockingQueue<Functor> taskQueue; // 线程 安全 的 阻塞 队列 


void workerThread() 


while (running) // running 变量 是 个 全 局 标志 

{ 
Functor task = taskQueue.taket); // this blocks 
task(Y; // 在 产品 代码 中 需要 考虑 异种 处 理 

} 


用 这 种 方式 实现 线程 池 特 别 容易 ， 以 下 是 局 动容 量 〈 并 友 数 ) 为 N 
的 线程 池 : 


int N = num_of_computing_threads: 
for Cint 1 = 8: 1 < N: ++1i) 


create_thread(&workerThread); ” // 伪 代 码 : 启动 线程 
J 
使 用 起 来 也 很 简单 : 
Foo foo; // Foo 有 calc() 成 员 力 数 
boost : :function<void(y> task = boost::bind(&Foo: :calLc，&fooy ， 
taskQOueue .post(task): 

上 面 十 几 行 代码 就 实现 了 一 个 简单 的 固定 数目 的 线程 池 ， 功 能 大 概 
相当 于 Java 中 的 ThreadPoolExecutor 的 某 种 “配置 >。 当 然 ， 在 真实 的 项 目 
中 ， 这 些 代 人 码 都 应 该 封装 到 一 个 class 中 ， 而 不 是 使 用 全 局 对 象 。 男 外 需 
要 注意 一 点 : Foo 对 象 的 生命 期 ， 第 1 章 详细 讨论 了 这 个 问题 。 

muduo 的 线程 池 : 比 这 个 略 复杂 ， 因 为 要 提供 stopO 操 作 。 

除了 任务 队列 ， 还 可 以 用 BlockingQueue<T> 实 现 数 据 的 生产 者 消费 
者 队列 ， 即 TT 是 数据 类 型 :而 非 函 数 对 象 ，gqgueue 的 消费 者 (s) 从 中 拿 到 数 
据 进 行 处 理 。 

BlockingQueue<T> 是 多 线程 编程 的 利 右 ， 它 的 实现 可 参照 Java 
util.concurrent 里 的 (Array|Linked)BlockingQueue。 这 份 Java 代 码 可 读 性 很 
高 ， 代 但 的 基本 结构 和 教科 书 一 致 〈1 个 mutex，2 个 condition 
variables )， 健 壮 性 要 局 得 多 。 如 果 不 想 目 己 实现 ， 用 现成 的 库 更 好 。 
muduo 里 有 一 个 基本 的 实现 ， 包 括 无 界 的 BlockingQueue 和 有 界 的 
BoundedBlockingQueue 两 个 class。 有 兴趣 的 读者 还 可 以 试 试 Intel 
Threading Building Blocks 里 的 concurrent_gueue<T>， 性 能 估计 会 更 好 。 


3.3.3 ”推荐 模式 


总 结 起 来 ， 我 推荐 的 C++ 多 线程 服务 病 编 程 醒 式 为 : one (event) 
loop per thread+ thread pool。 


“event loop 〈 也 叫 IO loop) 用 作 IO multiplexing， 配 合 non-blocking 
IO 和 和 定时 塔 。 

:thread poo] 用 来 做 计算 ， 有 其 体 可 以 是 任务 队列 或 生产 者 消费 者 队 
列 。 


以 这 种 方式 写 服 务 占 程序 ， 需 要 一 个 优质 的 基于 Reactor 模 式 的 网 络 
库 来 支撑 ，muduo 正 是 这 样 的 网 络 库 。 


程序 里 具体 用 几 个 loop、 线 程 池 的 大 小 等 参数 需要 根据 应 用 来 设 
定 ， 基 本 的 原则 是 “阻抗 匹配 ”， 使 得 CPU 和 IO 都 能 高 效 地 运作 ， 有 具体 的 
例子 见 此 处 。 

此 外 ， 程 序 里 或 许 还 有 个 别 执行 特殊 任务 的 线程 ， 比 如 logging， 这 
对 应 用 程序 来 说 基本 是 不 可 见 的 ， 但 是 在 分 配 资 源 (CPU 和 IO) 的 时 候 
要 算 进 去 ， 以 免 高 估 了 系统 的 容量 。 


3.4 进程 轩 通 信 只 用 TCP 


Linux 下 进程 则 通信 (IPC》 的 方式 数不胜数 ， 光 [UNPv2] 列 出 的 残 
有 : 匿名 管道 (pipe) 、 具 名 管道 (FIFO) 、POSIX 消 息 队 列 、 共 享 内 
存 、 信 号 〈signals) 等 等 ， 更 不 必 说 Sockets 了 。 同 步 原 语 
(synchronization primitives) 也 很 多 ， 如 互 斥 硕 (mutex) 、 条 件 变 量 
(condition variable) 、 谈 与 锁 (reader-writer lock) 、 文 件 锁 (record 
locking) 、 信 号 量 (semaphore ) 等 等 。 

如 何 选择 呢 ? 根据 我 的 个 人 经 验 ， 贯 精 不 贯 多 ， 认 真 挑选 三 四 样 东 
= 而 且 每 样 我 都 能 用 得 很 就 ， 不 容易 犯 
= 

进程 间 通 信 我 首选 Sockets《〈 主 要 指 TCP， 我 没有 用 过 UDP， 也 不 考 
碟 Unix domain 协 议 ) ， 其 最 大 的 好 处 在 于 : 可 以 申 主 机 ， 其 有 伸缩 
性 。 反 正 都 是 多 进程 了 ， 如 果 一 台 机 颖 的 处 理 能 力 不 够 ,很 目 然 地 束 能 
用 多 台 机 桥 来 处 理 。 把 进程 分 散 到 同一 局 域 网 的 多 台 机 右上 ， 程 序 改 改 
host:port 配 置 就 能 继续 用 。 相 反 ， 前 面 列 出 的 其 他 IPC 都 不 能 跨 机 妖 ， 
这 束 限 制 了 scalability。 

在 编程 上 ，TCP sockets 和 pipe 都 是 操作 文件 接 述 符 ， 用 来 收 友 字 市 
流 ， 都 可 以 read/write/fcntyselecypoll 等 。 不 同 的 是 ，TCP 是 双 辐 的 ， 
Linux 的 pipe 是 单 癌 的， 进程 间 双 同 通 信 还 得 开 两 个 文件 描述 符 ， 不 方便 
a; 而 且 进 程 要 有 父子 关系 才能 用 pipe， 这 些 都 限制 了 pipe 的 使 用 。 在 收 
发 字 节 流 这 一 通信 模型 下 ， 没 有 比 Sockets/TCP 更 自然 的 IPC 了 。 当 然 ， 
pipe 也 有 一 个 经 典 应 用 场景 ， 那 就 是 与 Reactorevent loop 时 用 来 弄 步 唤 
醒 select 〈 或 等 价 的 polyepoll_wait) 调用 2 ，Sun HotSpot JVM 在 Linux 吏 
是 这 么 做 的 3。 

TCP port 由 一 个 进程 独占 ， 旦 操作 系统 会 目 动 回收 (listening port 和 
己 建 并 连接 的 TCP socket 都 是 文件 描述 符 ， 在 进程 结束 时 操作 系统 会 天 
于 所 有 文件 摘 述 符 ) 。 这 说 明 ， 即 使 程序 意外 退出 ， 也 不 会 给 系统 留 下 
垃圾 ， 程 序 重 局 之 后 能 比较 容易 地 恢复 ， 而 不 需要 重 司 操作 系统 《〈 用 踊 


进程 的 mutex 束 有 这 个 风险 ) 。 还 有 一 个 好 处 ， 既 然 port 是 独占 的 ， 那 么 
可 以 防止 程 序 重 复 司 动 ， 后 面 那个 进程 抢 不 到 port， 目 然 束 没 法 初始 化 
了 ， 避 人 免 造 成 意料 之 外 的 结果 。 

两 个 进程 通过 TCP 通 信 ， 如 果 一 个 朋 沉 了， 操作 系统 会 关闭 连 接 ， 
男 一 个 进程 几乎 立刻 就 能 感知 ， 可 以 快速 failover。 当 然 应 用 层 的 心跳 也 
古 必 不 可 少 的 (89.3) 。 

与 其 他 IPC 相 比 ，TCP 协 议 的 一 个 天 生 的 好 处 是 “可 记录 、 可 重 
现 ”。tcpdump 和 Wireshark 征 解雇 两 个 进程 间 协 议和 状态 争 病 的 好 帮手 ， 
也 是 性 能 〈( 否 吐 量 、 延 人 运 ) 分 析 的 利 右 。 我 们 可 以 信和 此 编 与 分布 式 程序 
的 自动 化 回归 测试 。 也 可 以 用 tcpcopy2# 之 次 的 工具 进行 压力 测试 。TCP 
还 能 跨 语 言 ， 服 务 问 和 客户 闹 不 必 使 用 同一 各 语言。 试想 如 果 用 共 至 内 
存 作 为 IPC，C++ 程 序 如 何 与 Java 通 信 ， 难 道 用 JNI 吗 ? 

另外 ， 如 果 了 网 络 库 带 “连接 重 斌 ?功能 的 话 ， 我 们 可 以 不 要 求 系统 里 
的 进程 以 特定 的 顺序 启动， 任何 一 个 进程 都 能 单独 重 司 。 换 句 话 说， 
TCP 连 接 是 可 再 生 的 ， 连 接 的 任何 一 方 都 可 以 退出 再 启动， 重建 连接 之 
后 了 驶 能 继续 工作 ， 这 对 开发 牢 革 的 分 布 式 系统 意义 重大 。 

使 用 TCP 这 种 字 节 流 (byte stream) 方式 通信 ， 会 有 
marshal/unmarshal 的 开销 ， 这 要 求 我 们 选用 合适 的 消 因 格式， 准确 地 说 
是 wire format， 目 前 我 推荐 Google Protocol Buffers。 见 89.6 天 于 分 布 式 
系统 消 恩 格式 的 讨论 。 

有 人 或 许 会 说 ， 有 具体 问题 具体 分 机 ， 如 果 两 个 进程 在 同一 人 台 机 器 ， 
就 用 共享 内 存 ， 否 则 就 用 TCP， 比 如 MS SQL Server 就 同时 支持 这 两 种 
通信 方式 。 试 问 ， 是 人 否 值 得 为 那么 一 点 性 能 提升 而 让 代码 的 复 林 上 度 大 大 
增加 呢 ? 何况 TCP 的 local 吞 吐 量 一 点 都 不 低 ， 见 $86.5.1 的 测试 结果 。TCP 
是 字 布 流 协议 ， 只 能 顺序 谈 取 ， 有 与 绥 冲 ; 共享 内 存 是 消息 协议 ，a 进 
程 需 好 一 块 内 存 让 b 进 程 来 谈 ， 基 本 是 “ 俘 等 〈stop wait) ”方式 。 要 把 这 
两 种 方式 揉 到 一 个 程序 里 ， 需 要 建 一 个 抽象 层 ， 封 痛 两 种 IPC。 这 会 市 
来 不 透明 性 ， 并 用 增 加 测试 的 复杂 度 。 而 且 万 一 通信 的 茶 一 方 朋 这 ， 状 
态 reconcile 也 会 比 sockets 矿 烦 。 〈 数 据 刚 写 到 一 半 ， 怎 么 办 ? ) 为 我 所 
不 取 。 再 说 了， 你 舍得 让 几 万 块 买 来 的 SQL Server 和 其 他 应 用 程序 分 语 
机 需 资 源 吗 ? 生产 环境 下 的 数据 库 服 务 喜 往往 是 独立 的 高 配置 服务 需 ， 
一 般 不 会 同时 运行 其 他 占 资 源 的 程序 。 

TCP 本 丑 是 个 数 气流 协议 ， 除 了 直接 使 用 它 来 通信 外 ， 还 可 以 在 此 
之 上 构建 RPC/HTTP/SOAP 之 类 的 上 层 通信 协议 ， 这 超过 了 本 章 的 范 
图 。 为 外 ， 除 了 点 对 点 的 明 信 之 外 ， 应 用 级 的 三 播 协议 也 是 非常 有 用 
的 ， 可 以 方便 地 构建 可 观 可 控 的 分 布 式 系统 ， 见 87.11。 


分 布 式 系统 中 使 用 TCP 长 连接 通信 


833.1 所 到， 分 布 式 系统 的 软件 设计 和 功能 划分 一 般 应 该 以 “进程 ”为 
时 位 。 从 宏观 上 看 ， 一 个 分 布 式 系统 是 由 运行 在 多 台 机 鼎 上 的 多 个 进程 
组 成 的 ， 进 程 之 间 采 用 TCP 长 连接 通信 。 本 章 讨 论 分 布 式 系统 中 单个 服 
务 进 程 的 设计 方法 ， 第 9 章 将 谈 一 谈 整 个 系统 的 设计 。 我 提倡 用 多 线 
程 ， 并 不 是 说 把 整个 系统 放 到 一 个 进程 里 实现 ， 而 是 指 功 能 划分 之 后 ， 
在 实现 每 一 类 服务 进程 时 ， 在 必要 时 可 以 借助 多 线程 来 提高 性 能 。 对 于 
整个 分 布 式 系统 ， 要 做 到 能 scale out， 即 享受 增加 机 器 带 来 的 好 处 。 

使 用 TCP 长 连接 的 好 处 有 两 点 : 一 是 容易 定位 分 布 式 系统 中 的 服务 
之 间 的 依赖 关系。 只 要 在 机 需 上 运行 netstat -tpna | grep :port 束 能 立刻 列 
出 用 到 某 服务 的 客户 端 地 址 (Foreign 列 ) ， 然 后 在 客户 端的 机 器 上 用 
netstat 或 lsof 命 令 找 出 是 哪个 进程 发 起 的 连接 。 这 样 在 迁移 服务 的 时 候 能 
有 效 地 防止 出 现 outage。TCP 短 连接 和 UDP 则 不 具备 这 一 特性 。 二 是 通 
过 接收 和 发 送 队 列 的 长 度 也 较 容 易 定 位 网 络 或 程序 故障 。 在 正 间 运行 的 
时 候 ，netstat 打 印 的 Recv-Q 和 Send-Q 都 应 该 接近 0， 或 者 在 0 附近 摆动 。 
如 果 Recv-Q 保 持 不 变 或 持续 增加 ， 则 通 第 意味 痢 服 务 进程 的 处 理 速度 弯 
慢 ， 可 能 发 生 了 死 锁 或 险 罕 。 如 果 Send-Q 保 持 不 变 或 持续 增加 ， 有 可 能 
是 对 方 服务 右 太 忙 、 来 不 及 人 处理 ， 也 有 可 能 是 网 络 中 辐 某 个 路 由 右 或 交 
换 机 故障 造成 于 包 ， 其 至 对 方 服 务 磊 挥 线 ， 这 些 因 系 都 可 能 表现 为 数据 
发 这 不 出 去 。 退 过 持续 监控 Recv-Q 和 Send-Q 束 能 及 早 了 预警 性 能 或 可 用 性 
故障 。 以 下 是 服务 端 线程 阻塞 造成 Recv-Q 和 客户 端 Send-Q 激 增 的 例子 。 
$ netstat -tn 
Proto Recv-Q Send-0 Local Address Foreign 


tcp 78393 0 10.0.0.10:2000 10.6.6.10:39748  # 服务 端 连 接 
tcp 0 132668 10.0.0.10:39748 ”10.0.0.10:2006 # 窒 户 端 和 连接 
tcp 0 52 10.0.0.10:22 10.0.0.4:55572 


3.5 ”多 线程 服务 帮 的 适用 场合 


“服务 占 开 友 ” 包 岁 万 象 ， 本 书 所 指 的 “服务 右 开 友 ” 的 含义 请 见 本 章 
开头 ， 用 一 名 话 形容 是 : 跑 在 多 核 机 需 上 的 Linux 用 户 态 的 没有 用 户 界 
面 的 长 期 运行 的 网 络 应 用 程序 ， 通 第 十 分 布 式 系统 的 组 成 部 件 。 

开 友 服务 剖 程 序 的 一 个 基本 任务 十 处 理 并 友 连 接 ， 现 在 服务 师 网 络 
编程 处 理 并 友 连 接 主 要 有 两 种 方式 : 


当 “ 线 程 ”很 说 价 时 ， 一 台 机 右上 可 以 创建 远 高 于 CPU 数 目的 “ 线 


呈 ”。 这 时 一 个 线程 只 处 理 一 个 TCP 连 接 〈 甚 至 半 个 ) ， 通 第 使 用 阻力 
IO 〈 至 少 看 起 来 如 此 ) 。 例 如 ，Python gevent、Go goroutine、Erlang 
ee 这 里 的 “线程 ?由 语言 的 runtime 上 自行 调度 ， 与 操作 系统 线程 不 是 一 

` 当 线程 很 宝 员 时 ， 一 台 机 器 上 只 能 创建 与 CPU 数 目 相 当 的 线程 。 
这 时 一 个 线程 要 处 理 多 个 TCP 连 接 上 的 IO， 通 第 使 用 非 阻 故 IO 和 IO 
multiplexing。 例 如 ，libevent、muduo、Netty。 这 是 原生 线程 ， 能 被 操 
作 系 统 的 任务 调度 右 看 见 。 


在 处 理 并 发 连接 的 同时 ， 也 要 充分 发 挥 便 件 资源 的 作用 ， 不 能 让 
CPU 资源 困 置 。 以 上 列 出 的 库 不 是 每 个 都 能 做 到 这 一 点 。 既 然 本 书 讨论 
的 是 C++ 编程 ， 那 么 只 考虑 后 一 种 方式 ， 这 和 古 在 Linux 下 使 用 native 语 言 
编写 用 户 态 融 性 能 网 络 程序 的 最 成 熟 的 模式 。 本 节 主 要 讨论 的 是 这 
些 “ 线 程 ” 应 该 属于 一 个 进程 (以 下 模式 2)〉 ， 还 是 分 属 多 个 进程 ( 檬 式 
3) 。 
与 前 文 相 同 ， 本 市 的 “进程 ” 指 的 是 fork(2) 系 统 调 用 的 产物 。“ 线 
程 ” 指 的 古 pthread_create() 的 产物 ， 因 此 是 宝贵 的 那 种 原生 线程 。 而 且 我 
指 的 Pthreads 是 NPTEL 的 ， 每 个 线程 由 clone(2) 产 生 ， 对 应 一 个 内 核 的 
task_struct。 

首先 ， 一 个 由 多 台 机 器 组 成 的 分 布 式 系统 必然 是 多 进程 的 (字面 总 
义 上 ) ， 因 为 进程 不 能 路 0OS 边 界 。 在 这 个 前 提 下 ， 我 们 把 目光 集中 到 
一 台 机 右 ， 一 台 拥 有 全 少 4 个 核 的 普通 服务 器 。 如 果 要 在 一 台 多 核 机 帮 
上 提供 一 种 服务 或 执行 一 个 任务 ， 可 用 的 模式 有 : (这 里 的 “模式 ”不 是 
pattern， 而 是 model， 不 巧 它们 的 中 详 文 是 一 样 的 。 ) 
运行 一 个 单线 程 的 进程 ; 
运行 一 个 多 线程 的 进程 ; 
运行 多 个 单线 程 的 进程 ; 
运行 多 个 多 线程 的 进程 。 


这 些 模 陈 之 间 的 比较 已 经 是 老生 各 谈 ， 人 简单 地 总 结 如 下 。 


信 CD 人 放 王 


:模式 1 是 不 可 伸缩 的 〈scalable) ， 不 能 发 挥 多 核 机 需 的 计算 能 力 。 
模式 3 是 目前 公认 的 主流 模式 。 它 有 以 下 两 种 子 模式 : 
3a 简单 地 把 模式 1 中 的 进程 运行 多 份 3 
3b” 主 进 程 +woker 进 程 ， 如 果 必 须 绑 定 到 一 个 TCP port， 比 如 
httpd+fastcgi 


: 模 却 2 是 彼 很 多 人 所 部 视 的 ， 认 为 多 线程 程序 难 与 ， 而 且 与 模 陈 3 
相 比 并 设 有 什么 优势 。 

-模式 4 喝 是 干 夫 所 指 ， 它 个 但 没有 结合 2 和 3 的 优 操 ， 反 而 汇 肾 了 二 
者 的 缺点 。 


本 文 主要 想 讨论 的 是 模式 2 和 模式 3b 的 优 务 ， 即 : 什么 时 候 一 个 服 
务 费 程序 应 该 是 多 线程 的 。 从 功能 上 讲 ， 没 有 什么 是 多 线程 能 做 到 而 单 
线程 做 不 到 的 ， 反 之 并 然 ， 者 是 状态 机 呆 〈 我 很 高 兴 看 到 反例 ) 。 从 性 
能 上 讲 ， 无 论 是 IO bound 还 是 CPU bound 的 服务 ， 多 线程 都 没有 什么 优 
势 。 

Paul E. McKenney 在 《I]s Parallel Programming Hard, And, If So, What 
Can You Do About It?》z 第 3.5 节 指出 , “As a rough rule of thumb, use the 
simplest tool that will get the job done.” 比 方 说 ， 使 用 速 鞭 为 50MB/s 的 数 
据 压 缩 库 、 在 进程 创建 销毁 的 开销 是 800hs、 线 程 创建 销毁 的 开销 征 
50ps 的 前 所 下 ， 考 虑 如 何 执行 压缩 任务 : 


:如 果 要 个 尔 压 缩 1GB 的 文本 文件 ， 预 计 运 行 时 间 是 20s， 那 么 起 一 
0 因为 进程 启动 和 销毁 的 开销 远 远 小 于 实际 任务 的 
时 。 
:如 采 要 经 和 压缩 500kB 的 文本 数据 ， 了 预计 和 运行 时 间 是 10ms， 那 么 每 
次 都 起 进程 似乎 有 点 浪费 了 ， 可 以 每 次 蛙 独 起 一 个 线程 去 做 。 
如果 要 频 党 压 绚 10kB 的 文本 数据 ， 预 计 运 行 时 间 是 200ps， 那 么 每 
次 起 线程 似乎 也 很 当 费 ， 不 如 直接 在 当前 线程 摘 定 。 也 可 以 用 一 个 线程 


池 ， 每 次 把 压缩 任务 交 给 线程 池 ， 吕 免 阻 杜 当 前 线程 〈 特 别 要 避免 阻 老 
IO 线程 ) 。 


由 此 可 见 ， 多 线程 并 不 是 万 灵 丹 〈silver bullet) ， 它 有 适用 的 场 
合 。 那 么 究竟 什么 时 候 访 用 多 线程 ? 在 回答 这 个 问题 之 前 ， 我 先 谈 谈 必 
须 用 单线 程 的 场合 。 

3.5.1 ”必须 用 里 线程 的 场合 
握 我 所 知 ， 有 两 种 场合 必须 使 用 单线 程 : 


1. 程序 可 能 会 fork(2); 
2. 限制 程序 的 CPU 占用 率 。 


只 有 单线 程 程 序 能 fork(2) ”根据 后 面 $4.9 的 分 析 ， 一 个 设计 为 可 能 
调用 fork(2) 的 程序 必须 是 单线 程 的 ， 比 如 后 面 83.5.3 中 提 到 的 “看 门 狗 进 
程 >。 多 线程 程序 不 是 不 能 调用 fork(2)， 而 是 这 么 做 会 遇 到 很 多 麻烦 ， 
我 想 不 出 做 的 理由 。 

一 个 程序 fork(2) 之 后 一 般 有 两 种 行为 : 


1. 并 刻 执 行 exec()， 变 里 为 男 一 个 程序 。 例 如 shell 和 inetd; 又 比如 
lighttpd forkO 出 子 进 程 ， 然 后 运行 fastcgi 程 序 。 或 者 集群 中 运行 在 计算 
节点 上 的 负责 局 动 job 的 守护 进程 〈 即 我 所 谓 的 “看 门 狗 进 程 ?) 。 

2. 不 调用 execO0， 继 续 运 行当 前 程序 。 要 么 通过 共享 的 文件 摘 述 符 
与 父 进程 通信 ， 协 同 完成 任务 ， 要 么 接 过 父 进程 传 来 的 文件 描述 符 ， 独 
立 完成 工作 ， 例 如 20 世 纪 80 年 代 的 web 服务 器 NCSA httpd。 


这 些 行 为 中 ， 我 认为 只 有 “看 门 独 进 程 ? 必 须 坚 持 单 线程 ， 其 他 的 均 
可 和 蔡 换 为 多 线程 程序 〈 从 功能 上 讲 ) 。 

单线 程 程序 能 限制 程序 的 CPU 占用 雍 ”这 个 很 容易 理解 ， 比 如 在 
一 个 8 核 的 服务 右上 ， 一 个 曲线 程 程序 即便 发 生 busy-wait (无 论 是 因为 
bug， 还 是 因为 overload) ， 占 满 1 个 core， 其 CPU 使 用 率 也 只 有 12.5%.» 
et 的 情况 下 ， 系 统 还 是 有 87.5% 的 计算 资源 可 供 其 他 服务 进程 

因此 对 于 一 些 辅助 性 的 程序 ， 如 果 它 必须 和 主要 服务 进程 运行 在 同 
一 台 机 恬 的 话 ( 比 如 它 要 监控 其 他 服务 进程 的 状态 ) ， 那 么 做 成 单线 程 
的 能 避免 过 分 抢夺 系统 的 计算 资源 。 比 方 说 如 果 要 把 生产 服务 右上 的 日 
志文 件 压 缩 后 备份 到 NEFS 上 ， 那 么 应 该 使 用 普通 单线 程 压 缩 工 具 
(gzip/bzip2〉。 它 们 对 系统 造成 的 影响 较 小 ， 在 8 核 服务 费 上 最 多 占 满 
1 个 core。 如 采 有 人 为 了 “提高 速度 ”， 开 局 了 多 线程 压缩 或 者 同 时 起 多 个 
进程 来 压缩 多 个 日 志文 件 ， 有 可 能 造成 的 结果 是 非 关 键 任务 耗 太 了 CPU 
资源 ， 正 第 各 户 的 请 求 啊 应 变 慢 。 这 十 我 们 不 愿意 看 到 的 。 


3.5.2 ”单线 程 程 序 的 优 和 缺点 


从 编程 的 角度 ， 单 线程 程序 的 优势 无 须 葡 言 : 简单 。 程 序 的 结构 一 
般 如 §3.2 所 言 ， 是 一 个 基于 IO multiplexing 的 event loop。 或 者 如 云 风 所 
言 2?， 下 接 用 阳 考 IO 。event loop 的 典型 代码 框架 见 $83.2。 

Event loop 有 一 个 明 时 的 缺点 ， 它 是 非 抢占 的 Cnon-preemptive) 。 
假设 事件 a 的 优先 级 高 于 事件 b， 处 理事 件 a 需 要 lms， 处 理事 件 b 需 要 
10ms。 如 果 事 件 b 稍 早 于 a 肥 生 ， 那 么 当 事 件 a 到 来 时 ， 程 序 已 经 离开 了 


poll(2) 调 用 ， 并 开始 处 理事 件 b。 事 件 a 妥 等 上 10ms 才 有 机 会 被 处 理 ， 总 
的 啊 应 时 则 为 1lms。 这 等 于 发 生 了 优先 级 反 转 。 这 个 缺点 可 以 用 多 线程 
来 元 服 ， 这 也 是 多 线程 的 主要 优势 。 


多 线程 程序 有 性 能 优势 吗 


前 面 我 说 ， 无 论 是 IO bound 还 是 CPU bound 的 服务 ， 多 线程 都 没有 
什么 绝对 意义 上 的 性 能 优势 。 这 人 句 话 是 说 ， 如 果 用 很 少 的 CPU 负载 天 能 
让 IO 跑 满 ， 或 者 用 很 少 的 IO 流量 束 能 让 CPU 跑 满 ， 那 么 多 线程 没 啥 用 
处 。 举 例 来 说 : 


:对 于 静态 Web 服 务 器 ， 或 者 FTP 服 务 器 ，CPU 的 负载 较 轻 ， 主 要 瓶 
令 在 磁盘 IO 和 网 络 IO 方 面 。 这 时 候 往 往 一 个 单线 程 的 程序 〈 模 式 1) 残 
能 撑 满 1O。 用 多 线程 并 不 能 提高 重 吐 量 ， 因 为 IJO 便 件 容 量 已 经 饱和 了 。 
同 理 ， 这 时 增加 CPU 数目 也 不 能 提高 吞吐 量 。 

:CPU 跑 满 的 情况 比较 少见 ， 这 里 我 只 好 虚构 一 个 例子 。 假 设 有 一 
个 服务 ， 它 的 输入 是 n 个 整数 ， 问 能 否 从 中 选 出 m 个 整数 ， 使 其 和 为 
0《〈 这 里 n 有 100,m>0) 。 这 是 车 名 的 subset sum 问 题 ， 和 是 NP-Complete 
的 。 对 于 这 样 一 个 “服务 >”， 哪 人 很 小 的 n 值 也 会 让 CPU 算 死 。 比 如 n 王 
30， 一 次 的 输入 不 过 200 字 节 〈32-bit 整 数 ) ，CPU 的 运算 时 间 却 能 长 达 
oe 对 于 这 种 应 用 ， 模 式 3a 是 最 适合 的 ， 能 发 挥 多 核 的 优势 ， 程 序 

简单 。 


也 束 古 说 ， 无 论 任何 一 方 早早 地 先 到 达 瓶 贷 ， 多 线程 程序 痢 没 哈 优 


”说 到 这 里 ， 可 能 已 经 有 读者 不 耐烦 了 : 你 讲 了 这 么 多 ， 都 在 说 单线 
程 的 好 处 ， 那 么 多 线程 究竟 有 什么 用 ? 


3.5.3 ”适用 多 线程 程序 的 场景 


我 认为 多 线程 的 适用 场景 是 ;提高 响应 速度 ， 让 IO 和 * 计 算 "相互 重 
营 ， 降 低 latency。 虽 然 多 线程 不 能 提高 绝对 性 能 ， 但 能 提高 平均 响应 性 


一 个 程序 要 做 成 多 线程 的 ， 大 致 要 满足 : 


:有 多 个 CPU 可 用 。 单 核 机 郝 上 多 线程 没有 性 能 优势 “但 或 许 能 倘 
化 并 及 业务 锡 辑 的 实现 ) 。 


执 


:线程 间 有 共有 于 数据 ， 即 内 存 中 的 全 局 状态 。 如 果 没 有 共 盏 数据 ， 
a 里 然 我 们 应 该 把 线程 则 的 共 圣 数据 降 到 了 最低， 但 不 代表 
没有 。 

:共享 的 数据 是 可 以 修改 的 ， 而 不 是 静态 的 利 量 表 。 如 条 数据 不 能 
修改 ， 那 么 可 以 在 进程 间 用 shared memory， 模 式 3 束 能 胜任 。 

:提供 非 均 质 的 服务 。 即 ， 事 件 的 啊 应 有 优先 级 在 异 ， 我 们 可 以 用 
专门 的 线程 来 处 理 优 先 级 高 的 事件 。 防 止 优先 级 反 转 。 

latency 和 throughput 同 样 重 要 ， 不 是 馆 辑 徐 音 的 IO bound 或 CPU 
bound 程 序 。 换 言 之 ， 程 序 要 有 相当 的 计算 量 。 

:利用 异步 操作 。 比 如 logging。 无 论 往 磁盘 写 jog file， 还 是 往 log 
server 友 壕 消 居 都 不 应 该 阻 蛤 critical path 。 

:能 Scale up。 一 个 好 的 多 线程 程序 应 该 能 享受 增加 CPU 数目 人 带 来 的 
好 处 ， 目 前 主流 是 8 核 ， 很 快 束 会 用 到 16 核 的 机 器 了 。 

:具有 可 预测 的 性 能 。 随 着 负载 增加 ， 性 能 绥 慢 下 降 ， 超 过 某 个 临 
界 点 之 后 会 急速 下 降 。 线 程 数目 一 般 不 随 负 和 载 变 化 。 

:多 线程 能 有 效 地 划分 贡 任 与 功能 ， 让 每 个 线程 的 饮 辑 比较 人 简单， 
任务 单一 ， 便 于 编码 。 而 不 是 把 所 有 进 辑 都 霸 到 一 个 event loop 里 ， 不 同 
类 别 的 事件 之 则 相互 影 啊 。 


这 些 条 件 比 较 抽 象 ， 这 里 举 两 个 具体 的 (虽然 古 虚 构 的 ) 例子 。 

假设 要 管理 一 个 Linux 服 务 嚣 机群， 这 个 机 群 里 有 8 个 计算 节点 ，1 
个 控制 节点 。 机 器 的 配置 都 是 一 样 的 ， 双 路 四 核 CPU， 千 兆 网 互联 。 现 
在 需要 编 己 一 个 简单 的 机 群 管理 软件 〈 参 考 LLNL 的 SLURM2a ) ， 这 个 
软件 由 3 个 程序 组 成 : 


1. 运行 在 控制 节点 上 的 master， 这 个 程序 监视 并 控制 整个 机 和 群 的 状 


2. 运行 在 每 个 计算 节点 上 的 slave， 人 负责 启 动 和 终止 job， 并 监控 本 
机 的 资源 。 气 、 加 、 
3. 供 最 终 用 户 使 用 的 client 命 令 行 工 具 ， 用 于 提交 job。 


根据 前 面 的 分 析 ， slave 古 个 “看 门 独 进 程 ”， 它 会 局 动 别 的 job 进 
程 ， 因 此 必须 是 个 单线 程 程 序 。 男 外 它 不 应 该 占用 太 多 的 CPU 资 源 ， 这 
也 适合 单线 程 模型 。master 应 该 是 个 模式 2 的 多 线程 程序 : 


' 它 独占 一 台 8 核 的 机 项 ， 如 采用 和 模型 1， 等 于 良 费 了 87.5%% 的 CPU 资 


:整个 机 群 的 状态 应 访 能 完全 放 在 内 存 中 ， 这 些 状 态 是 共享 且 可 弯 
的 。 如 果 用 模式 3， 那 么 进程 之 间 的 状态 同步 会 成 大 问题 。 而 如 果 大 量 
使 用 共 至 内 存 ， 则 等 于 是 掩耳盗铃 ， 是 披 着 多 进程 外 衣 的 多 线程 程序 。 
因为 一 个 进程 一 旦 在 临界 区 内 阻 路 或 crash， 其 他 进程 会 全 部 死 锁 。 

-master 的 主要 性 能 指标 不 是 throughput， 而 是 latency， 即 尽快 地 啊 
应 各 种 事件 。 它 几乎 不 会 出 现 把 IO0 或 CPU 跑 满 的 情况 。 

master 监 控 的 事件 有 优先 级 区 别 ， 一 个 程序 正常 运行 结束 和 异常 朋 
沉 的 处 理 优先 级 不 同 ， 计 算 节 点 的 磁 副 满 了 和 机 箱 温 度 过 融 这 两 种 报警 
条 件 的 优先 级 也 不 同 。 如 果 用 单线 程 ， 则 可 能 会 出 现 优 先 级 反 转 。 

-假设 master 和 每 个 slave 之 则 用 一 个 TCP 连 接 ， 那 么 master 采 用 2 个 或 
4 个 IO 线程 来 处 理 8 个 TCP connections 能 有 效 地 降低 延迟 。 

-master 要 异步 地 往 本 地 人 硬盘 写 log， 这 要 求 logging library 有 目 己 的 
IO 线程 。 

master 有 可 能 要 旋 与 数据 库 ， 那 么 数据 库 连 接 这 个 第 三 方 library 可 
能 有 目 己 的 线程 ， 并 回调 master 的 代 但 。 

:Imnaster 要 服务 于 多 个 clients， 用 多 线程 也 能 降低 客户 啊 应 时 间 。 也 
驶 是 说 它 可 以 再 用 2 个 IO 线程 专门 处 理 和 clients 的 通信 。 

:master 还 可 以 提供 一 个 monitor 接 口 ， 用 来 广播 推送 (pushing) 机 
群 的 状态 ， 这 样 用 户 不 用 主动 轮 询 (polling) 。 这 个 功能 如 果 用 单独 的 
线程 来 做 ， 会 比较 容易 实现 ， 不 会 搞 乱 其 他 主要 功能 。 
master 一 共 开 了 10 个 线程 : 

4 个 用 于 和 slaves 通 信 的 IO 线程 。 

>1 个 logging 线 程 。 

>1 个 数据 库 IO 线 程 。 

”2 个 和 clients 通 信 的 IO 线程 。 

1 个 主线 程 ， 用 于 做 些 背 景 工作 ， 比 如 job 调度 。 

>1 个 pushing 线 程 ， 用 于 主动 广播 机 群 的 状态 。 

:虽然 线程 数目 略 多 于 core 数 目 ， 但 是 这 些 线程 很 多 时 候 都 是 空 朵 
可 以 依赖 0S 的 进程 调度 来 保证 可 控 的 延迟 。 


综 上 上 所 述 ，master 用 多 线程 方式 编写 是 目 然 且 高 效 的 。 

再 举 一 个 TCP 聊 天 服务 右 的 例子 ， 这 里 的 “聊天 ”不 完全 指 人 与 人 聊 
天 ， 也 可 能 是 机 器 与 机 器 “聊天 ”。 这 种 服务 的 特点 是 并 发 连接 之 间 有 数 
据 交 换 ， 从 一 个 连接 收 到 的 数据 要 转 友 给 其 他 多 个 连接 。 因 此 我 们 不 能 
按 模 式 3 的 做 法 ， 把 多 个 连接 分 到 多 个 进程 中 分 别处 理 〈( 这 会 种 来 复业 
的 进程 间 通 信 ) ， 而 只 能 用 模 陈 1 或 者 模式 2。 如 果 纯 炽 只 有 数据 交换 ， 
那么 我 想 模 式 1 也 能 工作 得 很 好 ， 因 为 现在 的 CPU 足够 快 ， 单 线程 应 付 


的 


\ 


几 百 个 连接 不 在 话 下 。 

如 果 功 能 进一步 复杂 化 ， 加 上 关键 字 过 滤 、 黑 名 单 、 防 灌水 等 等 功 
能 ， 甚 至 要 给 聊天 内 容 上 自动 加 上 相关 连接 ， 每 一 项 功能 都 会 占用 CPU 资 
源 。 这 时 区 要 考虑 模式 2 了 ， 因 为 单个 CPU 的 处 理 能 力 显 得 捉襟见肘 ， 
顺序 处 理 导 致 消息 转发 的 延迟 增加 。 这 时 我 们 考虑 把 空闲 的 多 个 CPU 利 
用 起 来 ， 自 然 的 做 法 是 把 连接 分 散 到 多 个 线程 上 ， 例 如 按 round-robin 的 
方式 把 1000 个 客户 连接 分 配 到 4 个 IO 线程 上 上。 这样 充分 利用 多 核 加 速 。 
具体 的 例子 见 86.6 的 方案 9， 以 及 此 处 的 实现 。 


线程 的 分 类 
据 我 的 经验 ， 一 个 多 线程 服务 程序 中 的 线程 大 致 可 分 为 3 关 : 


1. IO 线程 ， 这 类 线程 的 主 循环 是 IO multiplexing， 阻 徐 地 等 在 
select/poll/epoll_wait 系 统 调 用 上 。 这 类 线程 也 处 理 定时 事件 。 当 然 它 的 
功能 不 止 IO， 有 些 简 单 计算 也 可 以 放 入 其 中 ， 比 如 消 因 的 编码 或 解码 。 

2. 计算 线程 ， 这 类 线程 的 主 循环 是 blockingqueue， 阻 旱地 等 在 
conditionvariable 上 。 这 类 线程 一 般 位 于 thread pool 中 。 这 种 线程 通 间 不 
涉及 IO， 一 般 要 避免 任何 阻 融 操作 。 

3. 第 三 方 库 所 用 的 线程 ， 比 如 logging， 叉 比如 database 


connection。 


服务 器 程序 一 般 不 会 频繁 地 启动 和 终止 线程 。 其 至， 在 我 写 过 的 程 
序 里 ，create thread 只 在 程序 启动 的 时 候 调 用 ， 在 服务 运行 期 间 是 不 调用 
的 


在 多 核 时 代 ， 要 想 充 分 发 挥 CPU 性 能， 多 线程 编程 是 不 可 避免 

的 , “能 乌 算法 ”不 是 办 法 。 在 学 会 多 线程 编程 之 前 ， 我 也 一 百 认为 单线 
程 服 务 程 序 才 是 王道 。 在 接触 多 线程 编程 之 后 ， 经 过 一 段 时 间 的 训练 和 
适应 ， 我 已 能 比较 目 如 地 编写 正确 且 足 人 够 高 效 的 多 线程 程序 。 学 习 多 线 
程 编 程 还 有 一 个 好 处 ， 即 训练 异步 思维 ， 提 高 分 析 并 发 事件 的 能 力 。 这 
对 设计 分 布 式 系统 帮助 巨大 ， 因 为 运行 在 多 台 机 右上 的 服务 进程 本 质 上 
是 异步 的 。 熟 悉 多 线程 编程 的 话 ， 很 容易 束 能 发 现 分 布 式 系统 在 消 晨 和 
事件 处 理 方 面 的 race condition。 


3.6 “多 线程 服务 冀 的 适用 场合 ” 例 释 与 党 疑 


《多 线程 服务 器 的 适用 场合 》 一 文 在 博客 2 登 出 之 后 ， 有 热心 读者 
提出 质疑 ， 我 目 己 也 觉得 原文 没有 把 道理 说 通 、 说 透 ， 下 面 用 一 些 实例 
来 解答 旋 者 的 疑问 。 为 方便 阅读， 本 节 以 问答 体 呈 现 。 以 下 “和 连 撤 、 英 
口 ” 均 指 TCP 协 议 。 


1，Linux 能 同时 局 动 多 少 个 线程 ? 


对 于 32-bit Linux， 一 个 进程 的 地 址 空间 是 4GiB， 其 中 用 户 态 能 访问 
3GiB 左 右 ， 而 一 个 线程 的 默认 栈 (stack) 大 小 是 10MB， 心 算 可 知 ， 一 
个 进程 大 约 最 多 能 同时 局 动 300 个 线程 。 如 果 不 改 线程 的 调用 栈 大 小 的 
话 ，300 左 右 是 上 限 ， 因 为 程序 的 其 他 部 分 《数据 段 、 代 但 段 、 堆 、 动 
态 库 等 等 ) 同样 要 占用 内 存 〈 地 址 空间 ) 。 

对 于 64-bit 系 统 ， 线 程 数 目 可 大 大 增加 ， 有 具体 数字 我 没有 测试 过 ， 
因为 我 在 实际 项 目 中 一 台 机 右上 最 多 只 用 到 过 几 十 个 用 户 线 程 ， 其 中 大 
部 分 还 是 空闲 的 。 


下 面 的 第 2 问 关 于 线程 数目 的 讨论 以 32-bit Linux 为 例 。 
2. 多 线程 能 提高 并 及 上 度 吗 。 


如 采 指 的 是 “并 发 连接 数 "”， 则 不 能 。 

由 问题 1 可 知 ， 假 如 单纯 采用 thread per connection 的 模型 ， 那 么 并 发 
连接 数 最 多 300， 这 远 远 低 于 基于 事件 的 单线 程 程序 所 能 轻松 达到 的 并 
及 连接 数 《〈 几 和 王 旋 至 上 万 ， 甚 至 儿 万 ) 。 所 谓 “ 基 于 事件 ?”， 指 的 是 用 IO 
multiplexing event loop 的 编程 模型 ， 又 称 Reactor 模 式 ， 在 前 文中 已 有 介 
纪 


口 o 
那么 采用 前 文中 推荐 的 one loop per thread 呢 ?至 少 不 进 于 单线 程 程 
序 。 实 际 上 单个 event loop 处 理 1 万 个 并 友 长 连接 并 不 罕见 ， 一 个 multi- 
loop 的 多 线程 程序 应 该 能 轻松 文 持 5 万 并 友 链 接 。 
小 结 : thread per connection 不 适合 高 并 发 场合 ， 其 scalability 不 佳 。 
one loop per thread 的 并 友 虚 足够 大 ， 且 与 CPU 数目 成 正比 。 


3. 多 线程 能 提高 存 吐 量 吗 ? 


对 于 计算 密集 型 服务 ， 不 能 。 

假设 有 一 个 耗 时 的 计算 服务 ， 用 单线 程 算 需 要 0.8s。 在 一 侣 8 核 的 机 
大 上 ， 我 们 可 以 局 动 8 个 线程 一 起 对 外 服务 〈 如 条 内 存 够 用 ， 司 动 8 个 进 
程 也 一 样 ) 。 这 样 完成 单个 计算 仍然 要 0.8s， 但 是 由 于 这 些 进 程 的 计算 
可 以 同时 进行 ， 理 想 情 况 下 吞吐 量 可 以 从 单线 程 的 1.25qps (query per 


ee 上 升 到 10qps。【〔 实 际 情况 可 能 要 打 个 八 折 一 一 如 果 不 是 打 对 折 
jj 话 。 ) 

假如 改 用 并 行 算 法 ， 用 8 个 核 一 起 算 ， 理 论 上 如 果 完 全 并 行 ， 加 速 
比 高 达 8， 那 么 计算 时 间 是 0.1s， 吞 吐 量 还 是 10qps， 但 是 首次 请 求 的 响 
应 时 间 却 降低 了 和 很多。 实际 上 根据 Amdahls law， 即 便 算 法 的 并 行 度 高 
达 95% ，8 核 的 加 速 比 也 只 有 6， 计 算 时 间 为 0.133s， 这 样 会 造成 吞吐 量 
下 降 为 7.5qps。 不 过 以 此 为 代价 ， 换 得 啊 应 时 间 的 提升 ， 在 有 些 应 用 场 
合 也 是 值得 的 。 

再 举 一 个 例子 ， 如 果 要 在 一 台 8 核 机 右上 压缩 100 个 1GB 的 文本 文 
件 ， 每 个 core 的 处 理 能 力 为 200MB/s。 那 么 “每 次 起 8 个 进程 ， 每 个 进程 
压缩 1 个 文件 ?与 “依次 压缩 每 个 文件 ， 每 个 文件 用 8 个 线程 并 行 压缩 ?这 
两 种 方式 的 总 耗 时 相当 ， 因 为 CPU 都 是 满载 的 。 但 是 第 2 种 方式 能 较 快 
地 拿 到 第 一 个 压缩 完 的 文件 ， 也 融 是 首次 啊 应 的 延 时 更 小 。 

这 也 回答 了 问题 4。 

如 采用 thread per request 的 模型 ， 每 个 客户 请 求 用 一 个 线程 去 处 理 ， 
那么 当 并 发 请 求 数 大 于 某 个 临界 值 T 时， 吞吐 量 反 而 会 下 降 ， 因 为 线程 
多 了 以 后 上 下 文 切换 的 开销 也 随 之 增加 (分 析 与 数据 请 见 《A Design 
Framework for Highly Concurrent Systems》*) 。thread per request 是 最 入 
单 的 使 用 线程 的 方式 ， 编 程 最 容易 ， 人 简单 地 把 多 线程 程序 当成 一 堆 串 行 
程序 ， 用 同步 的 方式 顺序 编程 ， 比 如 在 Java Servlet 2.x 中 ， 一 次 页 面 请 
求 由 一 个 函数 
HttpServlet.service({HttpServletRegquest req, HttpServletResponse resp) 
同步 地 完成 。 

为 了 在 并 发 请 求 数 很 蜗 时 也 能 你 持 稳 定 的 否 吐 量 ， 我 们 可 以 用 线程 
闻 ， 线 程 池 的 大 小 应 设 满 站 “阻抗 匹配 原则 ”， 见 问题 7。 

线程 池 也 不 是 万 能 的 ， 如 果 啊 应 一 次 请 求 需 要 做 比较 多 的 计算 〈 比 
如 计算 的 时 间 占 整个 response time 的 1/5 织 〉 ， 那 么 用 线程 池 是 合理 的 ， 
能 傈 化 编程 。 如 果 在 一 次 请 求 啊 应 中 ， 主 要 时 间 是 在 等 待 IO， 那 么 为 了 
进一步 提高 吞吐 量 ， 人 往往 要 用 其 他 编程 模型 ， 比 如 Proactor， 见 问题 8。 


4. 多 线程 能 降低 啊 应 时 间 吗 ? 


如 果 设 计 合 理 ， 充 分 利用 多 核资 源 的 话 ， 可 以 。 在 突 发 (burst) 请 
求 时 戏 果 尤为 明显 。 

例 1: 多 线程 处 理 输 入 ”以 memcached 服 务 端 为 例 。memcached 一 次 
请 求 啊 应 大 概 可 以 分 为 3 步 : 


1. 旋 取 并 解析 客户 痕 输 入 ; 
2. 操作 hashtable: 
3. 返回 客户 端 。 


在 单线 程 模式 下 ， 这 3 步 是 串 行 执行 的 。 在 局 用 多 线程 模式 时 ， 和 写 
会 局 用 多 个 输入 线程 (默认 是 4 个 ) ， 并 在 建立 连接 时 按 round-robin 法 
把 新 连接 分 派 给 其 中 一 个 输入 线程 ， 这 正好 是 我 说 的 one loop per thread 
模型 。 这 样 一 来 ， 第 1 步 的 操作 束 能 多 线程 并 行 ， 在 多 核 机 磊 上 提 融 多 
用 户 的 啊 应 速 度 。 第 2 步 用 了 全 局 锁 ， 还 是 曲线 程 的 ， 这 可 算是 一 个 值 
得 继续 改进 的 地 方 。 

比如 ， 有 两 个 用 户 同 时 发 出 了 请 求 ， 这 两 个 用 户 的 连接 正好 分 配 在 
两 个 IO 线 程 上 ， 那 么 两 个 请 求 的 第 1 步 操 作 可 以 在 两 个 线程 上 并 行 执 
行 ， 然 后 汇总 到 第 2 步 串 行 执行 ， 这 样 总 的 啊 应 时 间 比 完全 串 行 执行 要 
短 一 些 (在 “ 谣 取 并 解析 ”所 占 的 比重 较 大 的 时 候 ， 戏 果 更 为 明显 ) 。 请 
继续 看 下 面 这 个 例子 。 

例 2: 多 线程 分 担负 载 ”假设 我 们 要 做 一 个 求解 Sudoku 的 服务 s， 这 
个 服务 程序 在 9981 姗 口 接受 请 求 ， 输 入 为 一 行 81 个 数字 【〈 竺 填 数 字 用 0 
表示 ) ， 输 出 为 填 好 之 后 的 81 个 数字 (1 一 9) ， 如 果 无 解 ， 输 
出 “NONNn2”。 

由 于 输入 格式 很 答 单 ， 用 单个 线程 做 IO 就 行 了 。 先 假设 每 次 求解 的 
计算 用 时 为 10ms， 用 前 面 的 方法 计算 ， 单 线程 程序 能 达到 的 吞吐 量 上 限 
为 100gps; 在 8 核 机 需 上 ， 如 果 用 线程 池 来 做 计算 ， 能 达到 的 吞吐 量 上 
限 为 800qps。 下 面 我 们 看 看 多 线程 如 何 降低 啊 应 时 间 。 

假设 1 个 用 户 在 极 短 的 时 间 内 发 出 了 10 个 请 求 ， 如 采用 单线 程 " 来 一 
个 处 理 一 个 ”的 模型 ， 这 些 reqs 会 排 在 队列 里 依次 处 理 ( 这 个 队列 是 操作 
系统 的 TCP 绥 冲 区 ， 不 是 程序 里 自己 的 任务 队列 ) 。 在 不 考虑 网 络 延迟 
的 情况 下 ， 第 1 个 请 求 的 啊 应 时 间 是 10ms; 第 2 个 请 求 要 等 第 1 个 算 完 
才能 获得 CPU 资源 ， 它 等 了 10ms， 算 了 10ms， 啊 应 时 间 是 20ms; 依 此 
类 推 ， 第 10 个 请 求 的 啊 应 时 间 为 100ms; 这 10 个 请 求 的 平均 响应 时 间 为 
DDIS 。 

如 果 Sudoku 服 务 在 每 个 请 求 到 达 时 开始 计时 ， 会 发 现 每 个 请 求 都 是 
10ms 吧 应 时 间 ;， 而 从 用 户 的 观点 来 看 ，10 个 请 求 的 平均 啊 应 时 间 为 
55ms， 请 读者 想 想 为 什么 会 有 这 个 天 异 。 

下 面 改 用 多 线程 : 1 个 IO 线程 ，8 个 计算 线程 〈 线 程 池 ) 。 二 者 之 间 
用 BlockingQueue 沟 通 。 同 样 是 10 个 并 发 请 求 ， 第 1 个 请 求 委 分 配 到 计算 
线程 1， 第 2 个 请 求 被 分 配 到 计算 线程 2， 依 此 次 推 ， 直 到 第 8 个 请 求 被 第 
8 个 计算 线程 承担 。 第 9 和 第 10 号 请 求 会 等 在 BlockingQueue 里 ， 直 到 有 


计算 线程 回 到 空闲 状态 其 才能 被 处 理 。“〈 请 注意 ， 这 里 的 分 配 实 际 上 由 
操作 系统 来 做 ， 操 作 系 统 会 从 处 于 waiting 状 态 的 线程 里 挑 一 个 ， 不 一 定 
是 round-robin 的 。) 这 样 一 来 ， 前 8 个 请 求 的 啊 应 时 间 差 不 多 都 是 
10ms， 后 2 个 请 求 属于 第 二 批 ， 其 啊 应 时 间 大 约会 是 20ms， 忌 的 平均 啊 
应 时 间 是 12ms。 可 以 看 出 这 比 单 线程 快 了 不 少 。 

由 于 每 道 Sudoku 题 目的 难度 不 一 ， 对 于 人 简单 的 题目 ， 可 能 1ms 就 能 
算出 来 ， 复 杂 的 题目 最 多 用 10ms。 那 么 线程 池 方 案 的 优势 了 融 更 明显 ， 它 
能 有 效 地 降低 “简单 任务 被 复杂 任务 压 住 > 的 出 现 概率 。 

以 上 举 的 都 是 计算 密集 的 例子 ， 即 线程 在 啊 应 一 次 请 求 时 不 会 等 街 
IO。 下 面谈 谈 更 复杂 的 情况 。 


5. 多 线程 程序 如 何 让 IO 和 “计算 > 相互 重 登 ， 降 低 latency? 


基本 思路 是 ， 把 IO 操作 〈 通 名 是 写 操 作 ) 通过 BlockingQueue 交 给 
别 的 线程 去 做 ， 目 己 不 必 等 竺 。 

例 1: 日 志 (logging) ”在 多 线程 服务 器 程序 中 ,日 志 (logging ) 
至 头 重 要 ， 本 例 仅 考虑 与 jog file 的 情况 ， 不 考虑 log server。 

在 一 次 请 求 啊 应 中 ， 可 能 要 写 多 条 日 忘 消 轧 ， 而 如 采用 同步 的 方式 
写 文 件 〈fprintf 或 fwrite) ， 多 半 会 降低 性 能 ， 因 为 : 


:文件 操作 一 般 比 较 慑 ， 服 务 线程 会 等 在 IO 上 ， 让 CPU 了 闲置， 增加 
响应 时 间 。 

:就算 有 buffer， 还 是 不 灵 。 多 个 线程 一 起 写 ， 为 了 不 至 于 把 buffer 
写 错乱 ， 往 往 要 加 锁 。 这 会 让 服务 线程 互相 等 待 ， 降 低 并 发 度 。 (同时 
用 多 个 ljog 文 件 不 是 办 法 ， 除 非 你 有 多 个 磁盘 ， 且 保证 log files 分 散在 不 
同 的 磁盘 上 ， 否 则 还 是 要 受到 磁盘 IO 瓶 贷 的 制约 。) 


解雇 办 法 是 单独 用 一 个 logging 线 程 ， 负 责 写 磁盘 文件 ， 通 过 一 个 或 
多 个 BlockingQueue 对 外 提供 接口 。 别 的 线程 要 写 日 志 的 时 候 ， 先 把 消 
已 〈 字 符 串 ) 准备 好 ， 然 后 往 queue 里 一 办 束 行 ， 基 本 不 用 等 每 。 这 样 
服务 线程 的 计算 束 和 logging 线 程 的 磁盘 IO 相 互 于 车， 降低 了 服务 线程 的 
啊 应 时 间 。 

尽管 1ogging 很 重要 ， 但 它 不 是 程序 的 主要 惕 辑 ， 因 此 对 程序 的 结构 
影响 越 小 越 好 ， 最 好 能 简单 到 如 同一 条 printf 语 句 ， 且 不 用 担心 其 他 性 
能 开销 。 而 一 个 好 的 多 线程 异步 logging 库 能 帮 我 们 做 到 这 一 点 ， 见 第 5 
革 。 (Apache 的 log4cxx 和 log4j 都 支持 AsyncAppender 这 种 异步 ljogging 方 
EN 


例 2: memcached 客 户 新 ”假设 我 们 用 memcached 来 保存 用 户 了 最 后 
发 帖 的 时 间 ， 那 么 每 次 啊 应 用 户 发 帖 的 请 求 时 ， 程 序 里 要 去 设置 一 下 
memcached 里 的 值 。 这 一 步 如 果 用 同步 10O， 会 增加 延 人 运 。 

对 于 “设置 一 个 值 ”这 样 的 write-only idempotent 操 作 ， 我 们 其 实 不 用 
等 memcached 人 返回 操作 结果 ， 这 里 也 不 用 在 乎 set 操 作 失 败 ， 那 么 可 以 借 
助 多 线程 来 降低 啊 应 延 述 。 比方 说 我 们 可 以 写 一 个 多 线程 版 的 
memcached 儿 和 钨 户 闹 ， 对 于 set 操 作 ， 调 用 方 只 要 把 key 和 value 准 备 好 ， 
调用 一 下 asyncSetO 函 数 ， 把 数据 往 BlockingQueue 上 一 放 束 能 并 即 返 
四， 延 述 很 小 。 简 下 的 事 束 留 给 memcached 客 户 新 的 线程 去 操心 ， 而 服 
务 线程 不 受阻 碍 。 

其 实 所 有 的 网 络 写 操作 都 可 以 这 么 异步 地 做 ， 不 过 这 也 有 一 个 缺 
点 ， 那 丈 是 每 次 asyncWrite(O) 都 要 在 线程 间 传 递 数 据 。 其 实 如 果 TCP 绥 冲 
区 是 空 的 ， 我 们 就 可 以 在 本 线程 写 完 ， 不 用 劳 烦 专门 的 IO 线程 。 Netty 
吏 使 用 了 这 个 办 法 来 进一步 降低 延迟 。 

以 上 都 仅 讨 论 了 “ 打 一 枪 束 跑 ” 的 情况 ， 如 果 是 一 问 一 答 ， 比 如 从 
memcached 取 一 个 值 ， 那么 “ 重 登 IJ0” 并 不 能 降低 啊 应 时 间 ， 因为 你 无 论 
如 何 要 等 memcached 的 回复 。 这 时 我 们 可 以 用 别 的 方式 来 提 Se 
见 问题 8。 (里 然 不 能 降低 啊 应 时 则 ， 但 也 不 要 浪费 线程 在 空 等 

以 上 的 例子 也 说 明 ，BlockingQueue 是 构建 多 线程 程序 的 利器 “加 
几 812.8.3。 


6. 为 什么 第 三 方 库 往往 要 用 目 己 的 线程 ? 


event loop 模 型 没有 标准 实现 。 如 果 目 己 写 代码 ， 尺 可 以 按 所 用 
Reactor 由 推 症 廊 式 来 忽 程 。 但 是 第 三 方 库 不 一 定 能 很 好 地 适应 并 融入 这 
个 event loop framework， 有 了 时 需 ;要 用 线程 来 做 一 些 串 并 转换 。 比 方 说 检 
测 串 口上 的 数据 到 达 可 以 用 文件 摘 述 和 从 的 可 读 事 件 ， 因 此 可 以 方便 地 融 
入 event loop。 但 是 检测 串口 上 的 菜 些 控 制 信号 (例如 DCD) 只 能 用 轮 
询 (ioctl(fd, TIOCMGET, &flags)) 或 阻 罕 等 每 (ioctl(fd, TIOCMIWAIT, 
TIOCM_CAR)) ; 要 想 融入 event loop， 需 要 单独 起 一 个 线程 来 查询 串 
口 信 亏 翻转 ， 再 转换 为 文件 描述 答 的 该 与 事件 〈 可 以 通过 pipe(2)) 。 

对 于 Java， 这 个 问题 还 好 办 一 些 ， 因 为 thread pool 在 Java 里 有 标准 实 
现 ， 叫 ExecutorService。 如 果 第 3 那么 它 可 以 和 主 程 
友 共 至 一 个 ExecutorService， 而 不是 目 己 创建 一 堆 线 程 。( 比 如 在 初始 
化 时 传 入 主 程序 的 obj。) 对 于 C++， 情 况 抹 烦 得 多 ，Reactor 和 thread 
pool 都 没有 标准 库 。 

例 1: libmemcached 只 支持 同步 操作 ”1libmemcached 支 持 所 请 


的 “ 非 阻 圭 操 作 ”， 但 没有 戏 露 一 个 能 被 selectpollepoll 的 file describer， 
它 有 的 memcached” fetch 始终 会 阻塞 。 它 号 称 memcached set 可 以 是 非 阻塞 
的 ， 实 际 意思 是 不 必 等 每 结果 返回， 但 实际 上 这 个 函数 会 蛆 土地 调用 
write(2)， 仍 可 能 阻 竖 在 网 络 IO 上 。 

如 果 在 我 们 的 Reactor event handler 里 调用 了 libmemcached 的 函数 ， 
那么 latency 束 堪忧 了。 如 果 想 继续 用 libmemcached， 我 们 可 以 为 它 做 一 
次 线程 封装 ， 按 问题 5 例 2 的 办 法 ， 同 额外 的 线程 专门 做 memcached 的 
IO， 而 程序 主体 还 是 Reactor。 其 至 可 以 把 memcached 的 “数据 就 绪 ” 作 为 
一 个 event， 注 入 我 们 的 event loop 中 ， 以 进一步 提高 并 发 度 。 〈 例 子 留 
待 问题 8 讲 。) 

万 邓 的 是 ，memcached 的 协议 非常 人 简单， 大 不 了 可 以 上 自己 写 一 个 基 
于 Reactor 的 管 户 闹 ， 但 是 数据 库 客户 师 束 没 那 么 辛 运 了 了。 

例 2: MySQL 的 官方 C API 不 文 持 异步 操作 ”MySQL 的 官方 客户 
端 s 只 支持 同步 操作 ， 对 于 UPDATE/INSERT/DELETE 之 类 只 要 行为 不 
官 结果 的 操作 (如 果 代 码 需 要 得 知 其 执行 结果 ， 则 男 当 别论 〉， 我 们 可 
以 用 一 个 单独 的 线程 来 做 ， 以 降低 服务 线程 的 延迟 。 可 仿照 前 面 
memcached _set 的 例子 ， 不 再 性 言 。 矿 烦 的 是 SELECT， 如 果 要 把 它 也 异 
步 化 ， 吏 得 动用 更 复杂 的 模式 了 ， 见 问题 8。 

相 比 之 下 ，PostgreSQL 的 C 客 户 冰 libpgq 的 设计 要 好 得 多 ， 我 们 可 以 
用 PQsendQuery0 来 肥 起 一 次 查询， 然后 用 标准 的 selectpollyepol 来 等 符 
PQsocket。 如 果 有 数据 可 谈 ， 那 么 用 PQconsumeInput 处 理 之 ， 并 用 
PQisBusy 判 晰 得 询 结果 是 否 已 承 结 。 最 后 用 PQgetResult 来 获取 结果 。 信 
助 这 僚 寞 步 API， 我 们 可 以 很 容易 地 为 libpq 写 一 伍 wrapper， 使 之 融入 程 
序 所 用 的 event loop 模 型 中 。 


7. 什么 是 线程 池 大 小 的 阻抗 匹配 原则 ? 


我 在 前 文中 提 到 “阻抗 玫 配 原则 ， 这 里 大 致 讲 一 讲 。 

如 果 池 中 线程 在 执行 任务 时 ， 密 集 计算 所 占 的 时 间 比 重 为 P 〈0 去 
P<1) ， 而 系统 一 共有 C 个 CPU， 为 了 让 这 C 个 CPU 跑 满 而 又 不 过 载 ， 线 
程 池 大 小 的 经 验 公 式 T 二 C/P。T 是 个 hint， 考 虚 到 P 值 的 估计 不 是 很 准 
确 ，TI 的 最 佳 值 可 以 上 下 浮动 50%. 这 个 经 验 公 式 的 原理 很 简单 ，T 个 线 
程 ， 每 个 线程 占用 P 的 CPU 时 间 ， 如 果 刚 好 占 满 C 个 CPU， 那 么 必 有 TxP 
二 C。 下 面 验证 一 下 边界 条 件 的 正确 性 。 

假设 C= 二 8，P 二 1.0， 线 程 池 的 任务 完全 是 窒 集 计算 ， 那么 T 二 8。 只 
要 8 个 活动 线程 就 能 让 8 个 CPU 饱和 ， 再 多 也 没 用 ， 因 为 CPU 资源 已 经 耗 


假设 C 二 8，P 二 0.5， 线 程 池 的 任务 有 一 半 是 计算 ， 有 一 半 等 在 IO 
上 ， 那 么 T 二 16。 考 虑 操作 系统 能 灵活 、 合 理 地 调度 
sleeping/writing/running 线 程 ， 那 么 大 概 16 个 “50% 繁 忙 的 线程 ”能 让 8 个 
CPU 人 忙 个 不 分 。 局 动 更 多 的 线程 并 不 能 提高 重 叶 量 ， 反 而 因为 增加 上 下 
文 切换 的 开销 而 降低 性 能 。 

如 果 P 二 0.2， 这 个 公式 束 不 适用 了 ，T 可 以 取 一 个 固定 值 ， 比 如 
5xC。 另 外 ， 公 式 里 的 C 不 一 定 是 CPU 总 数 ， 可 以 是 “分 配给 这 项 任务 的 
CPU 数 目 ”， 比 如 在 8 核 机 器 上 分 出 4 个 核 来 做 一 项 任务 ， 那 么 C 二 4。 


8. 除了 你 推荐 的 Reactor 十 thread poll， 还 有 别 的 non-trivial 多 线程 编 
程 模型 吗 ? 


有 ，Proactor。 如 条 一 次 请 求 啊 应 中 要 和 别 的 进程 打 多 次 交道 ， 那 
么 Proactor 模 型 往往 能 做 到 更 高 的 并 发 上 度 。 当 然 ， 代 价 是 代码 变 得 文 离 
破 健 ， 难 以 理解 。 

这 里 举 HTTP proxy 为 例 ， 一 次 HTTP proxy 的 请 求 如 果 没 有 命中 本 地 
cache， 那 么 它 多 半 会 : 


1. 解析 域名 〈 不 要 小 看 这 一 步 ， 对 于 一 个 陌生 的 域名 ， 解 析 可 能 
要 花 几 秒 的 时 间 ) : 

2. 建立 连接 ; 

3， 发 送 HTTP 请 求 ; 

4. 等 待 对 方 回应 ; 

5. 把 结果 返回 给 客户 。 


这 5 步 中 跟 2 个 server 发 生 了 3 次 round-trip， 每 次 都 可 能 花 几 百 片 秒 : 


1. 加 DNS 问 苔 名 ， 等 和 回复， 
2， 回 对 方 的 HITP 服 务 右 发 起 连接 ， 等 待 TCP 三 路 握手 完成 ; 
3. 问 对 方 发 送 HTTP request， 等 竺 对方 response。 


而 实际 上 HTTP proxy 本 喘 的 运算 量 不 大 ， 如 果 用 线程 闻 ， 池 中 线程 
的 数目 会 很 庞大 ， 不 利于 操作 系统 的 管理 调度 。 
这 时 我 们 有 两 个 解决 思路 : 


1. 把 “域名 已 解析 ” “连接 已 建立 ” “对方 已 完成 啊 应 ”做 成 
event， 继 续 按 照 Reactor 的 方式 来 编程 。 这 样 一 来 ， 每 次 客户 请 求 束 不 


能 用 一 个 函数 从 头 到 尾 执行 守成， 而 要 分 成 多 个 阶段 ， 并 且 要 管理 好 请 
求 的 状态 (“目前 到 了 第 几 步 ? ”) 。 

2. 用 回调 函数 ， 让 系统 来 把 任务 串 起 来 。 比 如 收 到 用 户 请 求 ， 如 
条 没有 命中 本 地 缓存 ， 那 么 需要 执行 : 

a. 立刻 发 起 异步 的 DNS 解析 startDNSResolve(0， 告 诉 系 统 在 解析 完 
之 后 调用 DNSResolved0O 函 数 ; 

b. 在 DNSResolved0 中 ， 发 起 TCP 连 接 请 求 ， 告 诉 系 统 在 连接 建立 
之 后 调用 connectionEstablished(): 

c. 在 connectionEstablished0O 中 有 发送 HTTP request， 告 诉 系 统 在 收 到 
呵 应 之 后 调用 httpResponsed(); 

d， 最 后 ， 在 httpResponsedO 里 把 结果 返回 给 客户 。 

.NET 大 量 采 用 的 BeginInvoke/EndInvoke 操 作 也 是 这 个 编程 模式 。 当 
然 ， 对 于 不 飚 芒 这 种 编程 方式 的 人 ， 代 码 会 显得 很 难看 。 有 关 Proactor 
模式 的 例子 可 参看 Boost.Asio 的 文档 ， 这 里 不 再 多 说 。 

Proactor 模 式 依赖 操作 系统 或 库 来 蜗 效 地 调度 这 些 子 任务 ， 每 个 子 
任务 痢 不 会 阻 坚 ， 因 此 能 用 比较 少 的 线程 达到 很 蜗 的 10 并 发 度 。 

Proactor 能 提高 存 吐 ， 但 不 能 降低 延迟 ， 所 以 我 没有 深入 研究 。 男 
外 ， 在 没有 语言 直接 支持 的 情况 下 *，Proactor 模 式 让 代码 非常 破碎 ， 在 
C++ 中 使 用 Proactor 古 很 痛 百 的 。 因 此 最 好 在 “线程 ”很 廉价 的 语言 中 使 用 
这 种 方式 ， 这 时 runtime 往 往 会 屏蔽 细 市 ， 程 序 用 单线 程 胆 窜 IO 有 的 方式 来 
处 理 TCP 连 接 。 


9. 模式 2 和 模式 3a 该 如 何 取 舍 ? 


, nn 企 式 2 是 一 个 多 线程 的 进程 ， 模 式 3a 是 多 个 相同 的 单线 
9 
我 认为 ， 在 其 他 条 件 相 同 的 情况 下 ， 可 以 根据 工作 集 (work set) 
的 大 小 来 取舍 。 工 作 集 是 指 服务 程序 啊 应 一 次 请 求 所 访问 的 内 存 大 小 。 
如 果 工 作 集 较 大 ， 那 么 束 用 多 线程 ， 避 免 CPU cache 的 入 换 出 ， 影 
呵 性 能 ; 否则 ， 残 用 单线 程 多 进程 ， 享 受 单 线程 编程 的 便利 。 举 例 来 说 


:如果 程 序 有 一 个 较 大 的 本 地 cache， 用 于 缓存 一 些 基础 参考 数据 
(in-memory look-up table) ， 几 乎 每 次 请 求 都 会 访问 cache， 那 么 多 线 
程 更 适合 一 些 ， 因 为 可 以 避免 每 个 进程 都 目 己 保留 一 份 cache， 增 加 内 
存 使 用 。 
:memcached 这 个 内 存 消 耗 大 户 用 多 线程 服务 病 束 比 在 同一 台 机 上 右上 
运行 多 个 memcached instance 要 好 。 (但 是 如 果 你 在 16GiB 内 存 的 机 器 上 


运行 32-bit memcached， 那 么 此 时 多 instance 是 必需 的 。 ) 

:求解 Sudoku 用 不 了 多 大 内 存 。 如 果 单 线程 编程 更 方便 的 话 ， 可 以 
用 单线 程 多 进程 来 做 。 有 再 在 前 面 加 一 个 单线 程 的 load balancer， 仿 
lighttpd 十 fastcgi 的 成 例 。 


线程 不 能 减少 工作 量 ， 即 不 能 减少 CPU 时 间 。 如 宋 解 次 一 个 问题 需 
要 执行 一 亿 条 指令 〈 这 个 数字 不 大 ， 不 要 被 吓 到 ) ， 那 么 用 多 线程 只 会 
让 这 个 数字 增加 。 但 是 通过 合理 调配 这 一 亿 条 指令 在 多 个 核 上 的 执行 情 
i 这 上 听 上 去 像 统筹 方法 ， 其 实 也 确实 是 统 寒 
方法 。 
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第 4 章 C++ 多 线程 系统 编程 精 要 
学 习 多 线程 编程 面临 的 最 大 的 思维 方式 的 转变 有 两 点 : 


当前 线程 可 能 随时 会 钻 切 换 出 去 ， 或 者 说 个 抢占 (preempt) 了 。 
多 线程 程序 中 事件 的 友 生 顺序 个 骨 有 全 局 统一 的 先后 关系 !。 


当 线 程 被 切换 回来 继续 执行 下 一 条 语句 《指令 ) 的 时 候 ， 全 局 数据 
(包括 当前 进程 在 操作 系统 内 核 中 的 状态 〉 可 能 已 经 被 其 他 线程 修改 
了 。 例 如 ， 在 没有 为 指针 p 加 锁 的 情况 下 ，if (p && p->next) { /*...*/} 
有 可 能 导致 segfault， 因 为 在 馆 辑 与 (&&) 的 前 一 个 分 文 evaluate 为 true 
之 后 的 一 判 那 ，p 可 能 被 其 他 线程 置 为 NULEL 或 是 被 释放 ， 后 一 个 分 文 允 
访问 了 非法 地 址 。 

在 单 CPU 系统 中 ， 理 论 上 我 们 可 以 通过 记录 CPU 上 执行 的 指令 的 移 
后 顺序 来 推演 多 线程 的 实际 交织 (interweaving) 运行 的 情况 。 在 多 术 
系统 中 ， 多 个 线程 是 并 行 执行 的 ， 我 们 甚至 没有 统一 的 全 局 时 钟 来 为 每 
个 事件 编号。 在 没有 适当 同步 的 情况 下 ， 多 个 CPU 上 运行 的 多 个 线程 中 
的 事件 发 生 先 后 顺序 是 无 法 确定 的 :。 在 引入 适当 同步 后 ， 事 件 之 间 才 
有 了 了 happens-before 关 系 :。 

机 依赖 于 任何 一 个 线程 的 执行 速度 ， 不 能 通 

过 原 地 等 待 〈sleep0) 来 假定 其 他 线程 的 事件 已 经 发 生 ， 而 必须 通过 适 
当 的 同步 来 让 当前 线程 能 看 到 其 他 线程 的 事件 的 天 未 。 无 让 ee 
快 与 慢 〈 被 操作 系统 切换 出 去 得 越 多 ， 执 行 越 慢 )， 和 程序 都 应 该 能 正 宫 
工作 。 例 如 下 和 面 这 上段 代码 束 有 这 方面 的 问题 。 


bool running = false; // 全 局 标志 
vold threadFunc() 
while (running) 


/i get task from queue 
} 
+ 


void start() 


muduo: :Thread t(threadFunc): 

t.startC): : 

running = true; // 点 该 放 到 +t.start() 之 前 。 
} 

这 段 代码 暗中 假定 线程 函数 的 局 动 慢 于 running 变 量 的 赋值 :， 因 此 
线程 函数 能 进入 while 循 环 执行 我 们 想 要 的 功能 。 如 果 上 机 测试 运行 这 
段 代 码 ， 十 有 八 九 会 按 我 们 预期 的 那样 工作 。 但 是 ， 直 到 有 一 天 ， 系 统 
负载 很 高 ，Thread::start() 调 用 pthread_create() 隐 入 内 核 后 返回 时 ， 内 核 
决定 换 另 外 一 个 殉 绪 任务 来 执行 。 于 是 running 的 赋值 束 推 过 了 ， 这 时 线 
程 函 数 束 可 能 不 进入 while 循 环 而 直接 退出 了 。 

或 许 有 人 会 认为 在 while 之 前 加 一 小 段 延 时 (sleep)〉 束 能 解决 问 
题 ， 但 这 是 错 的 ， 无 论 加 多 大 的 延 时 ， 系 统 都 有 可 能 先 执行 while 的 条 
件 判 断 ， 然 后 再 执行 running 的 赋值 。 正 确 有 的 做 法 是 把 running 的 赋值 放 
健 jt.start(0) 之 前 ， 这 样 借助 pthread_create() 的 happens-before 语 意 来 保证 
running 的 新 值 能 航线 程 看 到 。 


4.1 基本 线程 原 语 的 选用 


我 认为 用 C/C++ 编 与 跨 平 台 : 的 多 线程 程序 不 是 普 过 的 需求 ， 因 此 本 
书 只 谈 现 代 Linuxs 下 的 多 线程 编程 。POSIX threads 的 函数 有 110 多 个 ， 
真正 第 用 的 不 过 十 几 个 。 而 且 在 C++ 程序 中 通 第 会 有 更 为 易 用 的 
wrapper， 不 会 直接 调用 Pthreads 函 数 。 这 11 个 最 基本 的 Pthreads 函 数 是 : 

2 个 : 线程 的 创建 和 等 竺 结束 〈join) 。 封 装 为 muduo::Thread。 

4 个 : mnutex 的 创建 、 销 毁 、 加 锁 、 解 锐 。 封 痛 为 


muduo::MUuteXLock 。 


5 个 : 条 件 变 量 的 创建 、 销 毁 、 等 待 、 通 知 、 广 播 。 封 装 为 
muduo::Condition 。 

这 些 封 痛 class 都 很 直 稚 了 当 ， 加 起 来 也 惑 一 两 百 行 代码 ， 却 已 经 构 
成 了 多 线程 编程 的 全 部 必 备 原 语 。 用 这 三 样 东西 (thread、mutex、 
condition) 可 以 完成 任何 多 线程 编程 任务 。 当 然 我 们 一 般 也 不 会 直接 使 
用 它们 (mutex 除 外 〉 ， 而 是 使 用 更 高 层 的 封装 ， 例 如 
mutex::ThreadPool 和 mutex::CountDownLatch 等 ， 见 第 2 草 。 

除 此 之 外 ，Pthreads 还 提供 了 其 他 一 些 原 语 ， 有 些 是 可 以 酌情 使 用 
的 ， 有 些 则 是 不 推荐 使 用 的 。 可 以 酌情 使 用 的 有 : 


-pthread_once， 封 装 为 muduo::Singleton<T>。 其 实 不 如 直接 用 全 局 
不 量 O 〇 

pthread_key*， 封 装 为 muduo::ThreadLocal<T>。 可 以 考虑 用 
_ thread 符 换 之 。 不 建议 使 用 : 

-pthread_rwlock， 访 写 锁 通 音 应 导 用 。muduo 没 有 封 痛 谈 与 锁 ， 这 
二 | 2 
是 有 意 的 。 

‘sem_*, 避免 用 信号 量 〈semaphore) 。 它 的 功能 与 条 件 变 量 重 
合 ， 但 容易 用 铺 。 

pthread_{cancel, kill}。 程 序 中 出 现 了 它们 ， 则 通常 意味 看 设计 出 了 
问题 。 


不 推 存 使 用 谈 写 锁 的 原因 是 它 往 往 造 成 提高 性 能 的 错觉 《〈 人 允许 多 个 
线程 并 发 谈 ) ， 实 际 上 在 很 多 情况 下 ， 与 使 用 最 简单 的 nutex 相 比 ， 它 
实际 上 降低 了 性 能 。 另 外 ， 与 操作 会 阻 材 旋 操 作 ， 如 采 要 求 优 化 旋 操 作 
的 延 人 运 ， 用 读 写 锁 是 不 合适 有 的 。 

多 线程 系统 编程 的 难点 不 在 于 学 习 线 程 原 语 (primitives) ， 而 在 于 
理解 多 线程 与 现 有 的 C/C++ 库 函 数 和 系统 调用 的 交互 天 系 ， 以 进一步 学 
习 如 何 设 计 并 实现 线程 安全 且 帅 效 的 程序 。 


4.2 ”C/C++ 系统 库 的 线程 安全 性 


现行 的 C/C++ 标准 (C89/C99/C++03) 并 没有 涉及 线程 ， 新 版 的 
C/C++ 标 准 〈C11 和 C++11) 规定 了 程序 在 多 线程 下 的 语意 ，C++11 还 定 
义 了 一 个 线程 库 (std::thread) 。 

对 于 标准 而 言 ， 关 键 的 不 是 定义 线程 亩 ， 而 是 规定 内 存 模型 

(memory model)。 特 别 是 规定 一 个 线程 对 某 个 共 至 变量 的 修改 何 时 能 


被 其 他 线程 看 到 ， 这 称 为 内 存 序 (memory ordering) 或 者 内 存 能 见 度 
(memory visibjlity) 。 从 理论 上 讲 ， 如 有 果 没 有 合适 的 内 存 模型 ， 编 写 正 
硼 的 多 线程 程序 属于 撞 大 运行 为 ， 见 Hans-J. Boehm 的 论文 《Threads 
Cannot be Implemented as a Library》 : 。 不 过 我 认为 不 必 担 心 这 篇 文章 提 
到 的 问题 ， 标 准 的 涉 后 不 会 对 实践 构成 影响 。 因 为 从 操作 系统 开始 文 持 
多 线程 到 现在 已 经 过 去 了 近 20 年 ， 人 们 已 经 编写 了 不计 其 数 的 运行 于 关 
键 生 产 环 境 的 多 线程 程序 ， 甚 至 Linux 操 作 系 统 内 核 本 身 也 可 以 是 抢占 
的 〈preemptive) 。 因 此 可 以 认为 每 个 文 持 多 线程 的 操作 系统 上 目 市 的 
C/C++ 编 详 天 对 本 平台 的 多 线程 文 持 都 足够 好 。 现 在 多 线程 程序 工作 不 
正常 很 难 归 结 于 编译 器 bug， 毕 竟 POSIX threads 线 程 标准 在 20 世 纪 90 年 
代 中 期 瓯 制定 了 。 当 然 ， 新 标准 的 积极 意义 在 于 让 编写 路 平台 的 多 线程 
程序 更 有 体 隧 了。 

Unix 系 统 库 (libc 和 系统 调用 〉 的 接口 风格 十 在 20 世 纪 70 年 代 早 期 
确立 的 ， 而 第 一 个 文 持 用 户 态 线程 的 Unix 操 作 系 统 出 现在 20 世 纪 90 年 代 
早期 。 线 程 的 出 现 立 刻 给 系统 函数 库 市 来 了 了 冲击， 破坏 了 了 20 年 来 一 页 的 
编程 传统 和 假定 。 例 如 : 


'errno 不 再 是 一 个 全 局 变量 ， 因 为 每 个 线程 可 能 会 执行 不 同 的 系统 
库 函 数 。 

:有 些 “ 纯 困 数 ?不 受 影 响 ， 例 如 memset/strcpy/snprintf 等 等 。 

有些 影 响 全 局 状态 或 者 有 副作用 的 函数 可 以 通过 加 锁 来 实现 线程 
安全 ， 例 如 mallocfree、Pprintf、fread/fseek 等 等 。 

有些 返 回 或 使 用 静态 空间 的 函数 不 可 能 做 到 线程 安全 ， 因 此 要 提 
供 男 外 的 版 本 ， 例 如 asctime_rt/ctime_r/gmtime _r、stderror r、strtok_r 等 
A 


.传统 的 fork0 并 发 模型 不 再 适用 于 多 线程 程序 (84.9) 。 


现在 Linux glibc 把 errmno 定 义 为 一 个 安 ， 注 意 errno 是 一 个 lvalue， 
此 不 能 简单 定义 为 条 个 图 数 的 返回 值 ， 而 必须 定义 为 对 函数 返回 指针 的 
dereference 。 
extern int *__errno_location(vold): 
#define errno (x*__errno_location()) 


值得 一 提 的 是 ， 操 作 系 统 文 持 多 线程 已 有 了 近 20 年 ， 早 先 一些 性 能 方 
面 的 缺陷 都 基本 被 弥补 了 。 例 如 最 早 的 SGI STL 目 己 定制 了 内 存 分 配 
器 ， 而 现在 g++ 自 带 的 STL 己 经 直接 使 用 malloc 来 分 配 内 存 ， 
std::allocator 已 经 变 成 了 鸡肋 〈8$12.2) 。 原 先 Google tcmalloc 相 对 于 glibc 
2.3 中 的 ptmalloc2 有 很 大 的 性 能 提升 ， 现 在 了 最 新 的 glibc 中 的 ptmalloc3 已 


经 把 委 距 大 大 缩小 了 。 

我 们 不 必 担 心 系 统 调 用 的 线程 安全 性 ， 因 为 系统 调用 对 于 用 户 态 程 
序 来 说 是 原子 的 。 但 是 要 注意 系统 调用 对 于 内 核 状 态 的 改变 可 能 影响 其 
他 线程 ， 这 个 话题 留 到 84.6 再 细 说 。 

与 直觉 相反 ，POSIX 标 准 列 出 的 是 一 份 非 线程 安全 的 函数 的 黑 名 单 : 
， 而 不 是 一 份 线程 安全 的 函数 的 日 名 单 〈All functions defined by this 
volume of POSIX.1-2008 shall be thread-safe, except that the following 
functions need not be thread-safe) 。 在 这 份 黑 名 单 中 ，system、 
getenVputenv/setenv 等 等 负数 都 是 不 安全 的 。 

因此 ， 可 以 说 现在 glibc 库 函数 大 部 分 都 是 线程 安全 的 。 特 别 征 
FILE* 系 列 疯 数 是 安全 的 ，glibc 其 至 提供 了 非 线 程 安 全 的 版 本 ?以 应 对 茶 
些 特殊 场合 的 性 能 需求 。 尺 官 单个 函数 是 线程 安全 的 ， 但 两 个 或 多 个 消 
数 放 到 一 起 就 不 再 安全 了 。 例 如 fseekO 和 fread() 都 是 安全 的 ， 但 是 对 某 
个 文件 “ 先 seek 再 read” 这 两 步 操 作 中 间 有 可 能 会 锐 打 汤 ， 其 他 线程 有 有 可 
能 趁机 修改 了 文件 的 当前 位 置 ， 让 程序 逻辑 无 法 正确 执行 。 在 这 种 情况 
下 ， 我 们 可 以 用 flockfile(FILE*) 和 funlockfile(FILE*) 疯 数 来 显 式 地 加 
0 并 且 由 于 FILE* 的 锁 是 可 重 入 的 ， 加 锁 之 后 再 调用 fread(0) 不 会 造成 

江 。 

如 果 程序 直接 使 用 lseek(2) 和 read(2) 这 两 个 系统 调用 来 随机 读 取 文 
件 ， 也 存在 “ 先 seek 青 read” 这 种 race condition， 但 是 似乎 我 们 无 法 高 效 地 
对 系统 调用 加 锁 。 解 决 办 法 是 改 用 pread(2) 系 统 调 用 ， 它 不 会 改变 文件 
的 当前 位 置 。 

由 此 可 见 ， 编 号 线程 安全 程序 的 一 个 难点 在 于 线程 安全 是 不 可 组 合 
的 〈composable) 2， 一 个 函数 foo0 调 用 了 两 个 线程 安全 的 函数 ， 而 这 
个 foo(0) 函 数 本 里 很 可 能 不 是 线程 安全 的 。 即 便 现 在 大 多 数 glibc 库 孙 数 是 
线程 安全 的 ， 我 们 也 不 能 像 写 单线 程 程序 那样 编写 代码 。 例 如 ， 在 单线 
程 程序 中 ， 如 果 我 们 要 临时 转换 时 区 ， 可 以 用 tzset() 函 数 ， 这 个 函数 会 
改变 程序 全 局 的 “当前 时 区 ”。 
// 获取 伦敦 的 当前 时 间 


string oldlz = getenv(" TA):; 1/ save T7272, assumeine non-NULL 
putenv(" TZ=Europe/London" ); /i set TZ to London 
tzset(): :i load London time zone 


struct tm localTimeInLN; 


time_t now = time(NULL): i:* get time 1n UTC 
localtime_r(&now, &localTimeInLN): J// convert to London local time 
Setenvt TA  , olgTlz.c_strc)}, 17): /:/ restore old 1T2 


tzset(): 1 local old time zone 


但 是 在 多 线程 程序 中 ， 这 人 么 做 不 是 线程 安全 的 ， 即 便 tzset( 本 吴 是 
线程 安全 的 。 因 为 它 改变 了 全 局 状态 〈 当 前 时 区 ) ， 这 有 可 能 影响 其 他 
线程 转换 当前 时 间 ， 或 者 被 其 他 进行 茯 似 操作 的 线程 影响 。 解 诀 办 法 十 
使 用 muduo::TimeZone class， 每 个 immutable instance 对 应 一 个 时 区 ， 这 
样 时间 转 换 束 不 需要 修改 全 局 状态 了 。 例 如: 
class TImeZone 

public: 
explicit Timezone(const char* zonefile): 


struct tm toLocalTime(time_t secondsSinceEpoch) const: 
time_t fromLocalTime(const struct tm&) const. 


/7 default copy ctor/assignment/dtor are okay. 
A 
}; 


const TimezZone kNewYorkTz("/usr/share/zoneinfo/America/New_York"):; 
const TimezZone kLondonTz( /usr/share/zoneinfo/Europe/London' ); 


time_t now = time (NULL): 
struct tm localTimeInNY = kNewYorkTz.toLocalTime (now): 
struct tm localTimelnLN = kLondonlz.toLocalTime (now): 


对 于 C/C++ 库 的 作者 来 说 ， 如 何 设 计 线 程 安全 的 接口 也 成 了 一 大 考 
验 ， 值 得 仿效 的 例子 并 不 多 。 一 个 基本 思路 是 尽量 把 class 设 计 成 
immutable 的 ， 这 样 用 起 来 束 不 必 为 线程 安全 操心 了 。 

尽 赎 C++03 标 准 没 有 明说 标准 库 的 线程 安全 性 ， 但 我 们 可 以 刘 循 一 
个 基本 原则 : 凡是 非 共 孚 的 对 象 都 是 役 此 独立 的 ， 如 果 一 个 对 象 从 始 人 至 
终 只 被 一 个 线程 用 到 ， 那 么 它 就 是 安全 的 。 男 外 一 个 事实 标准 是 : 共 竺 
的 对 象 的 read-only 操 作 是 安全 的 :， 前 提 古 不 能 有 并 发 的 写 操作 。 例 如 
两 个 线程 各 自 访问 自己 的 局 部 Vector 对象 是 安全 的 ; 同时 访问 共享 的 
const vector 对 象 也 是 安全 的 ， 但 是 这 个 vector 不 能 被 第 三 个 线程 修改 。 
一 旦 有 writer， 那 么 read-only 操 作 也 必须 加 锁 ， 例 如 vector::size0)。 

根据 81.1.1 对 线程 安全 的 定义 ，C++ 的 标准 库容 器 和 std::string 都 不 
是 线程 安全 的 ， 只 有 std::allocator 保 证 是 线程 安全 的 。 一 方面 的 原因 是 
为 了 避免 不 必要 的 性 能 开销 ， 另 一 方面 的 原因 是 单个 成 员 函 数 的 线程 安 
全 并 不 具备 可 组 合 性 〈composable) 。 假 设 有 safe_vector<T>class， 它 的 
接口 与 std::vector 相 同 ， 不 过 每 个 成 员 函 数 都 是 线程 安全 的 〈 关 似 Java 


synchronized 方 法 ) 。 但 是 用 safe_vector<T> 并 不 一 定 能 写 出 线程 安全 的 
代码 O 例 如 。 


safe_vector<int> Vec， /1 全 局 可 见 
if (!vec.empty()) // 没有 加 锁 避 护 
f 
int x = vec[®]: // 这 两 步 在 多 线程 下 是 不 安全 的 
J 


在 if 语 句 判 断 vec 非 空 之 后 ， 别 的 线程 可 能 清空 其 元 素 ， 从 而 造成 vec[0] 
失效 。 

C++ 标准 库 中 的 绝 大 多 数 泛 型 算法 是 线程 安全 的 本 因为 这 些 都 是 
无 状态 纯 函 数 。 只 要 输入 区 间 是 线程 安全 的 ， 那 么 泛 型 函数 就 是 线程 安 
全 的 。 

C++ 的 iostream 个 是 线程 安全 的 ， 因 为 流 式 输 出 


std::cout << Now 15 " << time(NULL): 
等 价 于 两 个 函数 调用 


std: :cout.operator<<("Now is ") 
.Operator<<(time(NULL)): 


即便 ostream::operator<<(O 做 到 了 线程 安全 ， 也 不 能 保证 其 他 线程 不 会 在 
两 次 图 数 调用 之 前 癌 stdout 输 出 其 他 字符 。 

对 于 “线程 安全 的 stdout 输 出 ”这 个 需求 ， 我 们 可 以 改 用 printf， 以 达 
到 安全 性 和 输出 的 原子 性 。 但 是 这 等 于 用 了 全 局 锁 ， 任 何 时 刻 只 能 有 一 
个 线程 调用 printf， 慌 人 不 见得 高 效 。 在 多 线程 程序 中 高 效 的 日 志 需 要 
特殊 设计 ， 见 第 5 草 。 


4.3 Linux 上 的 线程 标识 


POSIX threads 库 提供 了 pthread_self 函 数 用 于 返回 当前 进程 的 标识 
符 ， 其 次 型 为 pthread_t。pthread_t 不 一 定 是 一 个 数值 次 型 〈 整 数 或 指 
针 ) ， 也 有 可 能 是 一 个 结构 体 ， 因 此 Pthreads 专 门 提供 了 pthread_equal 函 
数 用 于 对 比 两 个 线程 标识 符 是 否 相 等 。 这 就 禹 来 一 系列 问题 ， 包 括 : 


:无 法 打印 输出 pthread_t， 因 为 不 知道 其 确切 类 型 。 也 束 没 法 在 日 志 
中 用 和 它 表 示 当 前 线程 的 id。 
:无 法 比较 pthread_t 的 大 小 或 计算 其 hash 值 ， 因 此 无 法 用 作 关 联 容 鼎 


的 key。 

:无 法 定义 一 个 非法 的 pthread_t 值 ， 用 来 表示 绝对 不 可 能 存在 的 线程 
id， 因 此 MutexLock class 没 有 办 法 有 效 判断 当前 线程 是 否 已 经 持 有 本 
镜 。 

:pthread _t 值 只 在 进程 内 有 辣 义 ， 与 操作 系统 的 任务 调度 之 间 无 法 建 
站 有 效 天 联 。 比 方 说 在 /proc 文 件 系 统 中 找 不 到 pthread_t 对 应 的 task。 


另外 ，glibc 的 Pthreads 实 现实 际 上 把 pthread t 用 作 一 个 结构 体 指 针 
( 它 的 类 型 是 unsigned ljong) ， 指 同一 块 动态 分 配 的 内 存 ， 而 且 这 块 内 
存 是 反复 使 用 的 。 这 就 造成 pthread_t 的 值 很 容易 重复 。Pthreads 只 保证 
同一 进程 之 内 ， 同 一 时 刻 的 各 个 线程 的 id 不 同 ， 不 能 保证 同一 进程 先后 
多 个 线程 共有 不 同 的 d， 更 不 要 说 一 台 机 如 上 多 个 进程 之 间 的 id 唯 一 性 


1 
例如 下 和 面 这 段 代 人 码 中 先后 两 个 线程 的 标识 从 古 相 同 的 : 

int main() 
{ 

pthread_t t1, t2: 

pthread_createt&t1, NULL, threadFunc, NULL): 

printfe'%lx\n", t1): 

pthread_join(t1, NULL): 


pthread_create(&t2, NULL, threadFunc, NULL):; 
printf("%lx\n", t2): 
pthread_join(t2, NULL)Y: 


一 次 运行 结果 如 下 : 
$ ,/a.out 
7fad117877689 
7fad11787700 

因此 ，pthread_t 并 不 适合 用 作 程 序 中 对 线程 的 标识 符 。 

在 Linux 上 ， 我 建议 使 用 gettid(2) 系 统 调用 的 返回 值 作为 线程 4， 这 
么 做 的 好 处 有 : 


它 的 类 型 是 pid_t， 其 值 通 汕 是 一 个 小 整数 3， 便 于 在 日 志 中 输出 。 

:在 现代 Linux 中 ， 它 直接 表示 内 核 的 任务 调度 id， 因 此 在 /proc 文 件 
系统 中 可 以 轻易 找到 对 应 项 ，/proc/tid 或 /prod/pid/task/tid。 

-在 其 他 系统 工具 中 也 容 多 定位 到 具体 某 一 个 线程 ， 例 如 在 top(1) 中 


我 们 可 以 按 线程 列 出 任务 ， 然 后 找 出 CPU 使 用 率 最 高 的 线程 id， 再 根据 
程序 日 志 判 断 到 底 哪 一 个 线程 在 耗 用 CPU。 

:任何 时 刻 都 是 全 局 唯一 的 ， 并 且 由 于 Linux 分 配 新 pid 采 用 递增 轮回 
办 法 ， 短 时 间 内 局 动 的 多 个 线程 也 会 具有 不 同 的 线程 id。 

-0 是 非法 值 ， 因 为 操作 系统 第 一 个 进程 init 的 pid 是 1。 


但 是 glibc 并 没有 封装 这 个 系统 调用 ， 和 需要 我 们 目 己 实现 。 封 沪 
gettid(2) 很 简单 ， 但 是 每 次 痢 执 行 一 次 系统 调用 似乎 有 些 浪 宪 ， 如 何 才 
能 做 到 更 高 效 呢 ? 

muduo::CuUrrentThread::tidO0 采 取 的 办 法 是 用 _thread 变 量 来 缓存 
gettid(2) 的 返回 什 ， 这 样 只 有 在 本 线程 第 一 次 调用 的 时 候 才 进行 系统 调 
用 ， 以 后 都 是 百 接 从 thread local 缕 存 的 线程 id 拿 到 结果 #， 效 人 率 无 忧 。 多 
线程 程序 在 打 日 志 的 时 候 可 以 在 每 一 条 日 志 消 晨 中 包含 当前 线程 的 id， 
不 上 必 担 心 有 效 率 损 矢 。 旋 者 有 兴趣 的 话 可 以 对 比 一 下 
boost::this_thread::get_id() 的 实现 效率 。 

还 有 一 个 小 问题 ， 万 一 程序 执行 了 fork(2)， 那 么 子 进 程 会 不 会 看 到 
stale 的 绥 存 结果 呢 ? 解决 办 法 是 用 pthread_atfork() 注 册 一 个 回调 ， 用 于 
清空 级 和 存 的 线程 d。 其 体 代 人 码 见 muduo/base/CurrentThread.h 和 Thread,cc 


4.4 ”线程 的 创建 与 家 咒 的 守则 


线程 的 创建 和 销 虹 古 编写 多 线程 程序 的 基本 要 系 ， 线 程 的 创建 比 饥 
或 要 容易 得 多 ， 只 需要 遵循 儿 条 简单 的 原则 : 


:程序 库 不 应 该 在 未 提前 香 知 的 情况 下 创建 目 己 的 “ 育 景 线程 ”。 
:尽量 用 相同 的 方式 创建 线程 ， 例 如 muduo::Thread。 

:在 进入 main(0) 函 数 之 前 不 应 该 局 动 线程 。 

:程序 中 线程 的 创建 最 好 能 在 初始 化 阶段 全 部 完成 。 


以 下 分 别 谈 一 谈 这 几 个 观点 。 

线程 旦 稀缺 资源 ， 一 个 进程 可 以 创建 的 并 发 线程 数目 党 限于 地 址 衬 
闻 的 大 小 和 内 核 参数 ， 一 合 机 邢 可 以 同时 并 行 运行 的 线程 数目 党 限于 
CPU 的 数目 。 因 此 我 们 在 设计 一 个 服务 咒 程 序 的 时 候 要 精心 规划 线程 的 
数目 ， 特 列 是 根据 机 右 的 CPU 数 目 来 设 略 工作 线程 的 数目 ， 并 为 天 键 任 
务 保留 足够 的 计算 资源 。 如 朱 程 序 库 在 背地 里 使 用 了 额外 的 线程 来 执行 


任务 ， 我 们 这 种 资源 规划 残 漏 算 了 。 可 能 会 导致 高 佑 系统 的 可 用 资源 ， 
结果 人 处理 关键 任务 不 及 时 ， 达 不 到 预 设 的 性 能 指标 。 

还 有 一 个 重要 原因 是 ， 一 旦 程序 中 有 不 止 一 个 线程 ， 驳 很 难 安全 地 
fork() 了 〈84.9) 。 因 此 “ 库 ? 不 能 偷偷 创建 线程 。 如 条 确实 有 必要 使 用 育 
景 线程 ， 全 少 应 该 让 使 用 者 知道 。 另 外 ， 如 果 有 可 能 ， 可 以 让 使 用 者 在 
初始 化 库 的 时 候 传 入 线程 池 或 event loop 对 象 ， 这 样 程序 可 以 统筹 线程 的 
数目 和 用 途 ， 避 免 低 优 移 级 的 任务 独占 茶 个 线程 。 

理想 情况 下 ， 程 序 里 的 线程 都 是 用 同一 个 class 创 建 的 
(muduo::Thread) ， 这 样 容 多 在 线程 的 司 动 和 销毁 阶段 做 一 些 统一 的 蚕 
记 〈bookkeeping) 工作。 比如 说 调用 一 次 muduo::CurrentThread::tid() 把 
当前 线程 id 绥 存 起 来 ， 以 后 再 取 线 程 id 就 不 会 陷入 内 核 了 了 上。 也 可 以 统计 
当前 有 多 少 活 动 线程 Es， 进 程 一 共 创 建 了 多 少 线程 ， 每 个 线程 的 用 途 分 
别 是 什么 。C/C++ 的 线程 不 像 Java 线 程 那样 有 名 字 ， 但 是 我 们 可 以 通过 
Thread class 实 现 美 似 的 效果。 如 条 每 个 线程 都 是 通过 muduo::Thread 局 动 
的 ， 这 些 都 不 难 做 到 。 必 要 的 话 可 以 写 一 个 ThreadManager singleton 
class， 用 它 来 记录 当前 活动 线程 ， 可 以 方便 调试 与 监控 。 

但 是 这 不 是 总 能 做 到 的 ， 有 些 第 三 方 库 〈C 语 言 库 ) 会 自己 局 动 线 
程 ， 这 样 的 “野生 ”线程 束 没 有 纳入 全 局 的 ThreadManager 管 理 之 中 。 
muduo::CurrentThread::tid0 必 须要 考 碟 被 这 种 “野生 ”线程 调用 的 可 能 ， 
因此 它 必 须 每 次 都 检查 绥 存 的 线程 id 是 个 有 效 ， 而 不 能 假定 在 线程 局 动 
阶段 己 经 缓存 好 了 id， 和 直接 返回 绥 存 值 束 行 了 。 如 果 库 提供 异步 回调 ， 
一 定 要 明确 说 明 会 在 哪个 (哪些 ) 线程 调用 用 户 提 供 的 回调 函数 ， 这 样 
A 会 不 会 阻 窟 其 他 任 
务 的 执行 。 

在 main() 疯 数 之 前 不 应 该 局 动 线程 ， 因 为 这 会 影响 全 局 对 象 的 安全 
构造 。 我 们 知道 ，C++ 保 证 在 进入 main0 之 前 完成 全 局 对 象 * 的 构造 。 同 
时 ， 各 个 编译 日 元 之 间 的 对 象 构造 顺序 是 不 确定 的 ， 我 们 也 有 一 些 办 法 
玉 影 啊 初 始 化 顺序 ， 你 证 在 初始 化 菜 个 全 局 对 象 时 使 用 到 的 其 他 全 局 对 
象 都 是 构造 完成 的 。 但 无 论 如 何 这 些 全 局 对 象 的 构造 是 依次 进行 的 ， 都 
在 主线 程 中 完成 ， 无 须 考虑 并 发 与 线程 安全 。 如 果 其 中 一 个 全 局 对 象 创 
建 了 线程 ， 那 瓯 危险 了 。 因 为 这 破坏 了 初始 化 全 局 对 象 的 基本 假设 。 万 
一 将 来 代码 改动 之 后 造成 该 线程 访问 了 未 经 初始 化 的 全 局 对 象 ， 那 么 这 
种 隐 昌 错 误 查 起 来 束 很 费 切 了 。 或 许 你 想 用 锁 来 你 证 全 局 对 象 初始 化 完 
成 ， 但 是 怎么 保证 这 个 全 局 的 锁 对 象 的 构造 能 在 线程 司 动 之 前 完成 呢 ? 
因此 ， 全 局 对 象 不 能 创建 线程 。 如 果 一 个 库 需 要 创建 线程 ， 那 么 应 该 进 
入 main() 轴 数 之 后 再 调用 库 的 初始 化 函数 去 做 。 

不 要 为 了 每 个 计算 任务 ， 每 次 请 求 去 创建 线程 。 一 般 也 不 会 为 每 个 


网 络 连接 创建 线程 ， 除 非 并 及 连接 数 与 CPU 数 相 近 。 一 个 服务 程序 的 线 
程 数 目 应 该 与 当前 负载 无 天 ， 而 应 该 与 机 和 需 的 CPU 数目 有 天 ， 即 load 
average 有 比较 小 〈 了 最 好 不 大 于 CPU 数目 ) 的 上 限 。 这 样 尽 量 避 免 出 现 
thrashing， 不 会 因为 负载 急剧 增加 而 导致 机 豆 失 去 正 第 啊 应 。 这 人 么 做 的 
重要 原因 是 ， 在 机 需 失 去 啊 应 期 间 ， 我 们 无 法 探 租 它 完 竟 在 做 什么 ， 也 
没 办 法 立刻 终止 有 问题 的 进程 ， 防 止 损害 进一步 扩大 。 如 果 有 实时 性 方 
面 的 要 求 ， 线 程 数 目 不 应 该 超过 CPU 数目 ， 这 样 可 以 基本 保证 新 任务 总 
伦 及 时 得 到 执行 ， 因 为 咏 有 CPU 是 空 几 的 。 最 好 在 程序 的 初始 化 阶段 创 
建 全 部 工作 线程 ， 在 程序 运行 期 间 不 再 创建 或 销毁 线程 。 信 助 
muduo::ThreadPool 和 muduo::EventLoop， 我 们 很 容易 就 能 把 计算 任务 和 
IO 任务 分 配 到 己 有 的 线程 ， 代 价 只 有 新 建 线程 的 几 分 之 一 。 

线程 的 销毁 有 几 种 方式 “: 


目 然 死亡 。 从 线程 主 函 数 返回 ， 线 程 正常 退出 。 
A 从 线程 主 函 数 抛 出 异 稼 或 线程 触发 segfault 信 号 等 非 
法 操作 :。 

: 目 杀 。 在 线程 中 调用 pthread_exit0 来 立刻 退出 线程 。 

他杀。 其 他 线程 调用 pthread_cancel0) 来 强制 终止 某 个 线程 。 


pthread_killO 赴 往 线 程 肥 信号 ， 留 到 $4.10 再 讨论 。 

线程 正常 退出 的 方式 只 有 一 种 ， 即 自然 死亡 。 任 何 从 外 部 强行 终止 
线程 的 做 法 和 想法 都 是 错 的 ss。 佐证 有 : Java 的 Thread class 把 stop()、 
suspend()、destroy() 等 疯 数 都 废弃 (deprecated) 了 ，Boost.Threads 根 本 
束 不 提供 thread::cancel0O 成 员 函 数 2。 因 为 强行 终止 线程 的 话 〈 无 论 是 日 
杀 还 是 他 杀 ) ， 它 没有 机 会 清理 资源 。 也 没有 机 会 释放 已 经 持 有 的 锁 ， 
其 他 线程 如 果 再 想 对 同一 个 mutex 加 锁 ， 那 么 瓯 会 立刻 死 锁 。 因 此 我 认 
为 不 用 去 研究 cancellation point 这 种 “鸡肋 ”概念 。 

如 采 人 确实 需要 强行 终止 一 个 耗 时 很 长 的 计算 任务 ， 而 叉 不 想 在 计算 
期 间 周 期 性 地 检查 某 个 全 局 退出 标志 ， 那 么 可 以 考 卡 把 那 一 部 分 代码 
fork() 为 狐 的 进程 ， 这 样 杀 《kill(2)) 一 个 进程 比 杀 本 进程 内 的 线程 要 安 
全 得 多 。 当 然 ，forkO 的 新 进程 与 本 进程 的 通信 方式 也 要 怖 重 选 取 ， 荫 
好 用 文件 描述 符 (pipe(2)/socketpair(2WVTCP socket) 来 收发 数据 ， 而 不 
要 用 共享 内 存 和 跨 进 程 的 互 太 右 等 IPC， 因 为 这 样 仍然 有 死 锁 的 可 能 。 

muduo::Thread 不 是 传统 意义 上 的 RAII class， 因 为 它 析 构 的 时 候 没 
有 销毁 持 有 的 Pthreads 线 程 句柄 (pthread_t)〉， 也 就 是 说 Thread 的 析 构 不 
会 等 每 线程 结束 。 一 般 而 言 ， 我 们 会 让 Thread 对 象 的 生命 期 长 于 线程 ， 
然后 通过 Thread::join0 来 等 竺 线程 结束 并 释放 线程 资产。 如果 Thread 对 


象 的 生命 期 短 于 线程 ， 那 么 丈 没 有 机 会 释放 pthread_ t 了 。muduo::Thread 
没有 提供 detach0 成 员 函 数 ， 因 为 我 不 认为 这 是 必要 的 。 

最 后 ， 我 认为 如 果 能 做 到 前 面 提 到 的 “程序 中 线程 的 创建 最 好 能 在 
初始 化 阶段 全 部 完成 >， 则 线程 是 不 必 销 毁 的 ， 伴 随 进程 一 直 运 行 ， 彻 
压 避 开 了 线程 安全 退出 可 能 面临 的 各 各 困难， 包括 Thread 对 象 生命 期 管 
理 、 资 源 释放 等 等 。 


4.4.1 pthread cancelSC++ 


POSIX threads 有 cancellation point 这 个 概念 ， 意 思 是 线程 执行 到 这 里 
有 可 能 会 被 终止 〈cancel) (如 果 别 的 线程 对 它 调 用 了 pthread_cancel() 
的 话 ) 。POSIX 标 准 列 出 了 必须 或 者 可 能 是 cancellation point 有 的 函数 22。 

在 C++ 中 ，cancellation point 的 实现 与 C 语 言 有 所 不 同 ， 线 程 不 是 执 
行 到 此 函数 天 立刻 终止 ， 而 是 访 亢 数 会 抛 出 卉 第。 这 样 可 以 有 机 会 执行 
stack unwind， 术 构 栈 上 对 象 〈 特 别 是 释放 持 有 的 锁 ) 。 如 采 一 定 要 使 
用 cancellation point， 建 议 读 一 读 Ulrich Drepper 写 的 Cancellation and C++ 
Exceptions 这 篇 短文 <。 不 过 按 我 的 观点 ， 不 应 该 从 外 部 杀 死 线程 。 


4.4.2 ”exit(3) 在 C++ 中 不 是 线程 安全 的 


exit(3) 函 数 在 C++ 中 的 作用 除了 终止 进程 ， 还 会 析 构 全 局 对 象 和 已 
经 构造 完 的 函数 静态 对 象 。 这 有 淤 在 的 死 锁 可 能 ， 考 虑 下 面 这 个 例子 。 


vold someFunctionMayCal LEXLILtT ) 


exit(Cl1): 
bh 


class Globalobject // : boost::noncopyable 


{ 
public: 
vold doit() 
{ 
MutexLockGuard lock(mutex_); 
someFunctionMayCallExit(); 


~GlobalObject() 


{ 
printf("GlobalQbject:~GlobalOQbject\n"): 
MutexLockGuard lock(mutex_Y: // 此 处 发 生死 钢 
A/: Clean up 
printf( GlobaloObject:~GlobalQbject cleannine\n'):; 
} 


private: 

MutexLock mutex_: 
下 
Globalobject g_obj:; 


int main() 


g_o0bj.doit(); 


GlobalObject::doit() 函 数 轧 转 调用 了 exit()， 从 而 触 太 了 全 局 对 象 
&_obj 的 析 构 。GlobalObject 的 析 构 函数 会 试图 加 锁 mutex_， 而 此 时 
mnutex 已 经 被 GlobaloObject::doitO 锁 住 了 ， 于 是 造成 了 死 锁 。 

再 举 一 个 调用 纯 虚 函数 导致 程序 骨 尝 的 例子 。 假 如 大 一 个 全 略 基 
类 ， 在 运行 时 我 们 会 根据 情况 使 用 不 同 的 无 状态 人 略 (派生 类 对 象 〉。 
由 于 案 略 古 无 状态 的 ， 因 此 可 以 共 至 派生 类 对 象 ， 不 必 每 次 都 新 建 。 这 
里 以 日 历 〈Calendar) 基 类 和 不 同 国家 的 假期 (AmericanCalendar 和 和 
BritishCalendar〉 为 例 ，factory 疯 数 返 回 某 个 全 局 对 象 的 引用 ， 而 不 是 每 


次 都 创建 新 的 派生 类 对 象 。 


class _ Calendar : boost: :noncopyable 

public: 
virtual bool isHoliday(muduo::Date d) const = 8; // 纯 虚 国 数 
virtual ~Calendart) {} 


上 
class AmericanCalendar : public Calendar 
{ 
public: 
virtual bool isHoliday(muduo: :Date d) const:; 
}，; 
class BritishCalendar : public Calendar 
{ 
public: 
virtual bool isHoliday(muduo: :Date d) CoOnst ; 
}; 


AmericanCalendar americanCalendar: // 全 局 对 象 
BritishCalendar britishCalendar; 


ffactory method returns americanCalendar or britishcalendar 
Calendar& getCalendar(const string& region): 


通 币 的 使 用 方式 是 通过 factory 合 到 具体 国家 的 日 历 ， 再 判断 茶 一 天 
征 不 征 假 期 : 
void ProcessRedquestfconst Request& req) 
{ 
Calendar& calendar = getCalendar(reqg.region): 
/1 如 条 别 的 线程 在 此 时 调用 了 exit(》…*…… 
If (calendar.isHoliday(req.settlement_date})) 


J do somethine 
} 
} 


这 一 切 部 工作 得 很 好 ， 和 下 到 有 一 天 我 们 想 主 动 退 出 这 个 服务 程序 ， 
于 是 人 个 线程 调用 了 exit()， 析 构 了 全 局 对 象 ， 结 果 造 成 为 一 个 线程 在 调 


用 Calendar::isHoliday 时 发 生 骨 尝 : 


pure virtual method called 
terminate called without an active except1ion 
Aborted (core dumped) 

当然 ， 这 只 是 举例 说 明 “ 用 全 局 对 象 实现 无 状态 策略 ”在 多 线程 中 析 
构 可 能 有 危险。 在 真实 的 项 目 中 ，Calendar 应 该 在 运行 的 时 候 从 外 部 配 
置 谈 入 *， 而 不 能 写 死 在 代 公 中 。 

这 其 实 不 是 exit() 的 过 错 ， 而 是 全 局 对 象 析 构 的 问题 。C++ 标 准 没 有 
照顾 全 局 对 象 在 多 线程 环境 下 的 析 构 ， 据 我 看 似乎 也 没有 更 好 的 办 法 。 
如 果 确 实 和 需要 主动 结束 线程 ， 则 可 以 考虑 用 _exit(2) 系 统 调 用 。 它 不 会 试 
图 析 构 全 局 对 象 ， 但 是 也 不 会 执行 其 他 任何 清理 工作 ， 比 如 flush 标 准 输 


he 

由 此 可 见 ， 安 全 地 退出 一 个 多 线程 的 程序 并 不 是 一 件 容 易 的 事情 。 
何况 这 里 还 没有 涉及 如 何 安 全 地 退出 其 他 正在 运行 的 线程 ， 这 需要 精心 
设计 共享 对 象 的 析 构 顺序 ， 防 止 各 个 线程 在 退出 时 访问 已 失效 的 对 象 。 
在 编写 长 期 运行 的 多 线程 服务 程序 的 时 候 ， 可 以 不 必 奶 求 安 全 地 退出 ， 
而 是 让 进程 进入 拒绝 服务 状态 ， 然 后 就 可 以 直接 杀 反 了 (8$9.3) 。 


4.5 普 用 _thread 天 键 字 


thread 是 GCC 内 置 的 线程 局 部 存储 设施 〈thread local Storage) 。 
它 的 实现 非常 融 效 ， 比 pthread_key_t 快 很 多 ， 见 Ulrich Drepper 写 的 
《ELF Handling For Thread-Local Storage》**。__thread 变 量 的 存 取 效 康 
可 与 全 局 变量 相 比 : 


int g_var; // 全 局 变量 
__thread int t_var: // _thread 变量 


void foo() // 区 蔡 显 示 汤 代码 和 和 水 编 代码 


{ 
8048494 : 55 push %ebp 
8048495: 89 e5 mov esp, webp 
g var = 1: // 直接 寻 址 
8048497: cy 85 1c 97 04 88 mov] $0x1, @x884971c 
884849d: 01 00 0600 80 
t_var = 2， // 也 是 直接 可 址 ， 用 了 段 寄 存 器 gs 
80484a1 : 65 c7 65 fc ff ff ff movl $0x2, %gs:@xfffffffc 
80484a8: 02 00 00 00 
+ 
386484ac: Dd pop “ebp 
60484ad: C3 ret 


_thread 使 用 规则 z， 只 能 用 于 修饰 POD 类 型 ， 不 能 修饰 dass 类 型 ， 
因为 无 法 目 动 调用 构 霹 函 a ”tread 可 以 用 于 修 饰 全 局 变 
量 、 子 数 内 的 静态 变量 ， 但 是 不 能 用 于 修饰 函数 的 局 部 变量 或 者 class 的 
5 另外 ，_ thread 杰 量 的 礼 始 化 只 能 用 编 详 期 钊 量 。 例 
站: 


__thread string t_obj1("Chen Shuo");  // 错误， 不 能 调用 对 象 的 构造 图 数 
__thread stringx t_obj2 = new string; // 错误 ， 初始 化 必须 用 编译 期 常量 
__thread stringx t_obj3 = NULL; // 正确 ， 但 是 需要 手工 初始 化 并 销毁 对 象 
thread 变 量 息 每 个 线 相 有 一 份 独立 实体 ， 和 个 线程 的 变量 住 互 不 
干扰 。 除 了 这 个 主要 用 途 ， 它 还 可 以 修饰 那些 “ 值 可 能 会 变 ， 带 有 全 局 
性 ， 但 征文 不 人 得 用 全 局 锁 保 护 ? 的 变量 。muduo 代 码 中 用 到 了 好 几 处 
_ thread， 人 简单 列举 如 下 : 





‘muduo/base/Logging.ce 绥 存 最 近 一 条 日 志 时 间 的 年 月 日 时 分 秒 ， 
如 果 一 秒 之 内 输出 多 条 日 志 ， 可 避免 重复 格式 化 。 另 外 ， 
muduo::strerror tl 把 strerror_r(3) 做 成 如 同 strerror(3) 一 样 好 用 ， 而 且 是 线 
1 

‘muduo/base/Processlnfo.cc ”用 线程 局 部 要 量 来 简化 ::scandir(3) 的 使 


muduo/base/Thread.cc ”缓存 每 个 线程 的 id。 
muduo/net/EventLoop.cc ”用 于 判断 当前 线程 是 否 只 有 一 个 
EventLoop 对 和 象 。 


以 上 例子 都 是 _thread 修 饰 POD 类 型 的 变量 。 

如 果 要 用 到 thread local 的 class 对 月 ， 可 以 考 谍 使 用 
muduo::ThreadLocal<T> 和 muduo::ThreadLocalSingleton<T> 这 两 个 class， 
它 能 在 线程 退出 时 销毁 class 对 象 。 例 如 
examples/asio/chat/server threaded highperformance.cc 用 
ThreadLocalSingleton 来 保存 每 个 EventLoop 线 程 所 管辖 的 客户 连接 ， 以 
实现 蜗 效 的 消 奶 转 友 。 


4.6 ”多 线程 与 IO 


这 可 算是 本 和 章 最 为 关键 的 一 节 。 本 书 只 讨论 同步 10， 包 括 阻 塞 与 非 
咀 塞 ， 不 讨论 异步 IO (AIO) 。 在 进行 多 线程 网 络 编程 的 时 候 ， 几 个 目 
然 的 问题 是 :如 何人 处理 IO? 能 人 否 多 个 线程 同时 恋 写 同一 个 socket 文 件 摘 
述 符 s? 我 们 知道 用 多 线程 同时 处理 多 个 socket 通 常 可 以 提高 效率 ， 那 么 
用 多 线程 处 理 同一 个 socket 也 可 以 提高 效率 吗 ? 

首先 ， 操 作文 件 摘 述 符 的 系统 调用 本 里 是 线程 安全 的 ， 我 们 不 用 担 
心 多 个 线程 同时 操作 文件 摘 述 从 会 造成 进程 朋 演 或 内 核 朋 尝 。 

但 是 ， 多 个 线程 同时 操作 同一 个 socket 文 件 接 述 符 确 实 很 斥 烦 ， 我 
认为 是 得 不 偿 失 的 。 需 要 考虑 的 情况 如 下 : 


如果 一 个 线程 正在 阻塞 地 read(2) 某 个 socket， 而 男 一 个 线程 close(2) 
了 此 socket。 

:如 果 一 个 线程 正在 阻塞 地 accept(2) 某 个 listening socket， 而 男 一 个 
线程 close(2) 了 此 socket。 

:更 糟 故 的 是 ， 一 个 线程 正 准 备 read(2) 某 个 socket， 而 另 一 个 线程 
close(2) 了 此 socket; 第 三 个 线程 义 恰 好 open(2) 了 了 男 一 个 文件 摘 述 从 ， 其 
fd 写 公 正好 与 前 面 的 socket 相 同 。 这 样 程序 的 远 界 就 混乱 了 (84.7) 。 


我 认为 以 上 这 几 种 情况 都 反映 了 程序 好 辑 设计 上 有 问题 。 

现在 假设 不 考虑 关闭 文件 接 述 从 ， 只 考虑 讯 和 写 ， 情 况 也 不 见得 多 
好 。 因 为 socket 旋 写 的 特点 是 不 保证 完整 性 ， 旋 100 字 节 有 可 能 只 人 返 回 20 
字 节 ， 写 操作 也 是 一 样 的 。 


.如 果 两 个 线程 同时 read 同 一 个 TCP socket， 两 个 线程 几乎 同时 各 自 
站 如 何 把 数 握 拼 成 完整 的 消息 ? 如 何 知 道 哪 部 分 数据 先 
邓 | 达 ? 


:如果 两 个 线程 同时 write 同一 个 TCP socket， 每 个 线程 都 只 发 出 去 半 
条 消息 ， 那 接收 方 收 到 数据 如 何 处 理 ? 

:如 果 给 每 个 TCP socket 配 一 把 锁 ， 让 同时 只 能 有 一 个 线程 谈 或 写 此 
socket， 似 乎 可 以 “解决 ”问题 ， 但 这 样 还 不 如 直接 始终 让 同一 个 线程 来 
操作 此 socket 来 得 简单 。 

:对 于 非 阻 起 IO， 人 情况 是 一 样 的 ， 而 且 收 发 消息 的 完整 性 与 原子 性 
几乎 不 可 能 用 锁 来 保证 ， 因 为 这 样 会 阻 署 其 他 IO 线程 。 


如 此 看 来 ， 理 论 上 只 有 read 和 write 可 以 分 到 两 个 线程 去 ， 因 为 TCP 
socket 是 双 同 IO。 问 题 是 真 的 值得 把 read 和 write 拆 开 成 两 个 线程 吗 ? 

以 上 讨论 的 都 是 网 络 IO， 那 么 多 线程 可 以 加 速 修 租 IO 吗 ? 首先 要 避 
免 lseek(2)/ read(2) 的 race condition (8$4.2) 。 做 到 这 一 点 之 后 ， 据 我 看 ， 
用 多 个 线程 read 或 write 同一 个 文件 也 不 会 提速 。 不 仅 如 此 ， 多 个 线程 分 
别 read 或 write 同一 个 厂 盘 上 的 多 个 文件 也 不 见得 能 提速 。 因 为 每 块 磁盘 
都 有 一 个 操作 队列 ， 多 个 线程 的 读 写 请 求 到 了 内 核 是 排队 执行 的 。 只 有 
在 内 核 缓 存 了 大 部 分 数据 的 情况 下 ， 多 线程 谈 这 些 热 数据 才 可 能 比 单 线 
程 快 。 多 线程 磁盘 IO 的 一 个 思路 是 每 个 磁盘 配 一 个 线程 ， 把 所 有 针对 此 
破 盘 的 IO 都 挪 到 同一 个 线程 ， 这 样 或 许 能 避免 或 减少 内 核 中 的 锁 争 用 。 
我 认为 应 该 用 “显然 是 正确” 的 方式 来 编写 程序 ， 一 个 文件 只 由 一 个 进程 
中 的 一 个 线程 来 恋 写 ， 这 种 做 法 显然 是 正确 的 。 

为 了 人 徐 音 起见 ， 我 认为 多 线程 程序 应 该 齐 循 的 原则 是 : 每 个 文件 描 
述 和 从 只 由 一 个 线程 操作 ， 从 而 轻松 解决 消 晨 收发 的 顺序 性 问题 ， 也 避 人 鲍 
了 关闭 文件 描述 符 的 各 种 race condition。 一 个 线程 可 以 操作 多 个 文件 摘 
述 符 ， 但 一 个 线程 不 能 操作 别 的 线程 拥有 的 文件 摘 述 符 。 这 一 点 不 难 做 
到 ，muduo 网 络 库 已 经 把 这 些 细 节 封 装 了 。 

epoll 也 遵循 相同 的 原则 。Linux 文 档 并 没有 说 明 : 当 一 个 线程 正 阻 
埠 在 epoll_ wait() 上 上 时， 为 一 个 线程 往 此 epoll fd 添加 一 个 新 的 监视 fd 会 友 
生 什 么 。 新 fd 上 的 事件 会 不 会 在 此 次 epoll_waitO 调 用 中 返回 ? 为 了 稳 受 
起 见 ， 我 们 应 该 把 对 同一 个 epoll fd 的 操作 “〈 深 加、 删除 、 人 修改、 等 竺 ) 
都 放 到 同一 个 线程 中 执行 ， 这 正 是 我 们 需要 muduo::EventLoop::wakeup( 
的 原因 。 

当然 ， 一 般 的 程序 不 会 直接 使 用 epoll、read、write， 这 些 确 层 操作 
都 由 网 络 库 代 了。 

这 条 规则 有 两 个 例外 : 对 于 厂 盘 文件 ， 在 必要 的 时 候 多 个 线程 可 以 
同时 调用 pread(2)/pwrite(2) 来 读 写 同一 个 文件 ， 对 于 UDP， 由 于 协议 本 
号 你 证 消 奶 的 原子 性 ， 在 适当 的 条 件 下 比如 消 居 之 间 彼 此 独 并 〉 可 以 
多 个 线程 同时 该 与 同一 个 UDP 文件 摘 述 符 。 


4.7 用 RAII 包 装 文件 描述 符 


本 节 谈 一 谈 在 多 线程 程序 中 如 何 管理 文件 摘 述 符 。Linux 的 文件 描 
述 符 〈file descriptor) 是 小 整数 ， 在 程序 刚刚 局 动 的 时 候 ，0 是 标准 输 
入 ，1 是 标准 输出 ，2 是 标准 钳 误 。 这 时 如 果 我 们 新 打开 一 个 文件 ， 它 的 
文件 摘 述 符 会 是 ]， 因 为 POSIX 标 准 要 求 每 次 新 打开 文件 〈 仿 socket) 的 
时 候 必 须 使 用 当前 最 小 可 用 的 文件 描述 符 亏 但 。 

POSIX 这 种 分 配 文 件 摘 述 符 的 方式 稍 不 注意 束 会 阁 成 串 话 。 比 如 前 
面 举 过 的 例子 ， 一 个 线程 正 准 备 read(2) 某 个 socket， 而 第 二 个 线程 几乎 
同时 close(2) 了 此 socket; 第 三 个 线程 又 恰好 open(2) 了 夯 一 个 文件 摘 述 
符 ， 其 号 但 正好 与 前 面 的 Socket 相 同 〈 因 为 比 它 小 的 亏 码 都 被 占 用 
了 ) 。 这 时 第 一 个 线程 可 能 会 谈 到 不 属于 它 的 数据 ， 不 仅 如 此 ， 还 把 第 
三 个 线程 的 功能 也 人 破坏 了 ， 因 为 第 一 个 线程 把 数据 谈 走 上 〈TCP 连 接 的 
数据 只 能 谈 一 次 ， 了 磁盘 文件 会 移动 当前 位 置 ) 。 另 外 一 种 情况 ， 一 个 线 
程 从 fd 三 8 收 到 了 比较 耗 时 的 请 求 ， 它 开始 处 理 这 个 请 求 ， 并 记 住 要 把 
吧 应 结果 发 给 fd 二 8。 但 是 在 处 理 过 程 中 ，fa 三 8 断 开 连接 ， 补 天 财 了 ， 
义 有 新 的 连接 到 来 ， 人 页 巧 使 用 了 相同 的 fd 二 8。 妆 线程 完成 啊 应 的 计 
算 ， 把 结果 发 给 fd 二 8 时 ， 接 收 方 已经 物 是 人 韭 ， 后 果 难 以 预料 。 

在 单线 程 程序 中 ， 或 许可 以 通过 有 种 全 局 表 来 避免 串 话 ;在 多 线程 
IE ( 通 第 意味 着 每 次 刻写 都 要 对 全 
局 表 加 揣 〉。 

在 C++ 里 解决 这 个 问题 的 办 法 很 简单 : RAIT。 用 Socket 对 象 包装 文 
件 摘 述 符 ， 所 有 对 此 文件 摘 述 符 的 恋 与 操作 都 通过 此 对 象 进行 ， 在 对 象 
的 析 构 困 数 里 关闭 文件 摘 述 符 。 这 样 一 来 ， 只 要 Socket 对 象 还 活 者 ， 束 
不 会 有 其 他 Socket 对 象 跟 它 有 一 样 的 文件 摘 述 符 ， 也 残 不 可 能 串 话 。 剩 
下 的 问题 束 古 做 好 多 线程 中 的 对 象 生命 期 官 理 ， 这 在 第 1 章 已 经 完美 解 


决 了 。 

引申 问题 ， 为 什么 服务 病程 序 不 应 该 关闭 标准 输出 (fd 二 1) 和 标 
准 错 误 (fd 二 2) ? 因为 有 些 第 三 方 库 在 特殊 紧急 情况 下 会 往 stdout 或 
stderr 打 印 出 错 信 息 ， 如 果 我 们 的 程序 关闭 了 标准 输出 (fd 二 1)〉 和 标准 
错误 (fd 二 2) ， 这 两 个 文件 摘 述 符 有 可 能 被 网 络 连 接 占 用 ， 结 果 造 成 
对 方 收 到 莫名 其 妙 的 数据 。 正 确 的 做 法 是 把 stdout 或 stderr 重 定向 到 人 厂 盘 
文件 〈 最 好 不 要 是 /devnull) ， 这 样 我 们 不 至 于 丢失 天 键 的 诊断 信息 。 
5 < ， 对 服务 程序 本 里 是 
透明 的 。 

现代 C++ 的 一 个 特点 是 对 象 生 命 期 管理 的 进步 ， 体 现在 不 需要 手工 


delete 对 象 。 在 网 络 编程 中 ， 有 的 对 象 是 长 命 的 〈 例 如 TcpServer) ， 有 
的 对 象 是 短命 的 〈 例 如 TcpConnection) 。 长 命 的 对 象 的 生命 期 往往 和 整 
个 程序 一 样 长 ， 那 区 很 容易 处 理 ， 直 接 使 用 全 局 对 象 〈 或 scoped_ptr) 
或 者 做 成 main() 的 栈 上 对 和 象 都 行 。 对 于 短命 的 对 象 ， 其 生命 期 不 一 定 完 
全 由 我 们 控制 ， 比 如 对 方 客 尸 病 断 开 了 某 个 TCP socket， 它 对 应 的 服务 
闹 进 程 中 的 TcpConnection 对 象 〈 其 必然 是 个 heap 对 象 ， 不 可 能 是 stack 对 
象 ) 的 生命 也 即将 走 到 尽头 。 但 是 这 时 我 们 并 不 能 立刻 delete 这 个 对 
象 ， 因 为 其 他 地 方 可 能 还 持 有 它 的 引用 ， 贸 然 delete 会 造成 空 司 指针。 
只 有 确信 其 他 地 方 没 有 持 有 该 对 象 的 引用 的 时 候 ， 才 能 安全 地 销毁 对 
象 ， 这 目 然 会 用 到 引用 计数 。 在 多 线程 程序 中 ， 安 全 地 销毁 对 象 不 是 一 
件 轻 而 多 举 的 事情 ， 见 第 1 章 。 

在 非 阻塞 网 络 编程 中 ， 我 们 第 第 要 面临 这 样 一 种 场景 : 从 东 个 TCP 
连接 A 收 到 了 一 个 request， 程 序 开始 处 理 这 个 request; 处 理 可 能 要 人 花 一 
定 的 时 间 ， 为 了 避免 耽误 《〈 阻 堵 ) 处 理 其 他 request， 程 序 记 住 了 发 来 
reduest 的 TCP 连 接 ， 在 茶 个 线程 池 中 处 理 这 个 请 求 ; 在 处 理 完 之 后 ， 会 
把 response 肥 回 TCP 连 接 A。 但 是 ， 在 处 理 request 的 过 程 中 ， 客 户 闯 断 开 
了 TCP 连 接 A， 而 夯 一 个 客户 痪 刚好 创建 了 新 连接 B。 我 们 的 程序 不 能 
只 记 住 TCP 连 接 A 的 文件 描述 人行， 而 应 该 持 有 封装 socket 连 接 的 
TcpConnection 对 象 ， 保 证 在 处 理 request 期 间 TCP 连 接 A 的 文件 摘 述 符 不 
会 被 天 闭 。 或 者 持 有 TcpConnection 对 象 的 蚤 引用 〈weak_ptr) ， 这 样 能 
知道 socket 连 接 在 处 理 request 期 间 是 否 已 经 天 财 了 了 ，fd 三 8 的 文件 摘 述 符 
到 撒 是 “前 世 ? 还 是 “今生 ”。 

舍 则 的 话 ， 旧 的 TCP 连 接 A 一 断 开 ，TcpConnection 对 象 销 毁 ， 天 堵 
了 旧 的 文件 摘 述 符 〈RAIID) ， 而 且 新 连接 B 的 socket 文 件 摘 述 符 有 可 能 
等 于 之 前 断 开 的 TCP 连 接 〈 这 是 完全 可 能 的 ，POSIX 要 求 每 次 新 建文 件 
描述 符 时 选取 当前 最 小 的 可 用 的 整数 ) 。 当 程序 处 理 完 旧 连 接 的 request 
时 ， 束 有 可 能 把 response 肥 给 新 的 TCP 连 接 B， 造 成 串 话 。 

为 了 应 对 这 种 情况 ， 防 止 访 问 失 效 的 对 象 或 者 及 生 网 络 串 话 ， 
muduo 使 用 shared_ptr 来 管理 TcpConnection 的 生命 期 。 这 是 唯一 一 个 采用 
引用 计数 方式 管理 生命 期 的 对 象 。 如 果 不 用 shared_ptr， 我 想 不 出 其 他 
安全 且 高 效 的 办 法 来 管理 多 线程 网 络 服务 疾 程 序 中 的 并 及 连接 。 


4.8 RAIISfork( 


在 编写 C++ 程 序 的 时 候 ， 我 们 总 是 设法 保证 对 象 的 构造 和 析 构 是 成 
对 出 现 的 ， 否 则 就 几乎 一 定 会 有 内 存 泄漏 。 在 现代 C++ 中 ， 这 一 点 不 难 


做 到 〈8$1.7) 。 利 用 这 一 特性 ， 我 们 可 以 用 对 象 来 包装 资源 ， 把 资源 管 
理 与 对 象 生 命 期 管理 统一 起 来 (RAII，。 但 是 ， 假 如 程序 会 fork()， 这 
一 假设 就 会 被 破坏 了。 考虑 下 面 这 个 例子 ，Foo 对 象 构造 了 一 次 ， 但 是 
析 构 了 两 座 。 


Int main() 

z 
Foo foo: 1/ 调用 构造 函数 
forkry ， /7 fork 为 两 小 进香 


foo.doit() // 在 父子 进程 中 都 使 用 foo 
// 析 构 函数 会 被 调用 两 次 ， 父 进程 和 子 进 程 各 一 次 
} 
如 果 Foo class 封 装 了 菜 种 资源 ， 而 这 个 资源 没有 被 子 进程 继承 ， 那 
么 Foo::doitO 的 功能 在 子 进 程 中 是 错乱 的 。 而 我 们 疫 有 办 法 目 动 预防 这 
一 点 ， 忆 不 能 每 次 申请 一 个 资源 束 去 调用 一 座 pthread_atforkO 吧 ? 
forkO 之 后 ， 子 进程 继承 了 父 进程 的 几乎 全 部 状态 ， 但 也 有 少数 例 
外 。 子 进程 会 继承 地 址 空间 和 文件 描述 符 ， 因 此 用 于 管理 动态 内 存 和 文 
件 描述 符 的 RAII cdlass 都 能 正常 工作 。 但 是 子 进 程 不 会 继承 : 


: 父 进程 的 内 存 锁 ，mlock(2)、mlockall(2)。 
' 父 进程 的 文件 锁 ，fcntl(2)。 
: 父 进 程 的 某 些 定时 左 ，setitimer(2)、alarm(2)、timer_create(2) 等 


披 


.其 他 ， 见 man 2 fork。 


通 负 我 们 会 用 RAII 手 法 来 管理 以 上 种 次 的 资源 《加 人 锁 解锁 、 创 建 销 
或 定时 天 等 等 ) ， 但 是 在 forkO 出 来 的 子 进程 中 不 一 定 正 种 工 作 ， 因 为 
资源 在 fork(O 时 已 经 被 释放 了。 比方 说 用 RAII 技 法 封装 
timer_create(OyVtimer_delete0， 在 子 进 程 中 析 构 函数 调用 timer_deleteO 可 
伦 会 出 错 ， 因 为 试图 释放 一 个 不 存在 的 资源 。 或 者 更 糟 料 地 把 其 他 对 象 
持 有 的 timer 给 释放 了 《如 条 健 巧 新 建 的 timer_t 与 之 重复 的 话 ) 。 

因此 ， 我 们 在 编写 服务 端 程序 的 时 候 , “是 否 允 许 fork()” 是 在 一 开 

台 就 应 该 慎重 考虑 的 问题 ， 在 一 个 没有 为 forkO 做 好 准备 的 程序 中 使 用 
fork()， 会 过 到 难以 预料 的 问题 。 


4.9 ”多 线程 与 fork() 


多 线程 与 forkOQ* 的 协作 性 很 差 。 这 是 POSIX 系 列 操作 系统 的 历史 包 
只 。 因 为 长 期 以 来 程序 都 是 单线 程 的 ，fork0 运 转正 常 。 当 20 世 纪 90 年 
代 初 期 引入 多 线程 之 后 ，forkO0 的 适用 范围 大 为 缩减 。 

fork() 一 般 不 能 在 多 线程 程序 中 调用 23s， 因为 Linux 的 fork(O 只 克隆 当 
六 线程 的 thread of control， 不 克隆 其 他 线程 。forkO 之 后 ， 除 了 当前 线程 
之 外 ， 其 他 线程 都 消失 了 。 也 融 是 说 不 能 一 下 子 fork0 出 一 个 和 父 进程 
一 样 的 多 线程 子 进程 。Linux 没 有 forkall() 这 样 的 系统 调用 ，forkall0) 其 实 
也 是 很 难 办 的 〈 从 语 量 上 ) ， 因 为 其 他 线程 可 能 等 在 condition variable 
上 上 ， 可 能 阻 窄 在 系统 调用 上 ， 可 能 等 看 mutex 以 跨 入 临界 区 ， 还 可 能 在 
密集 的 计算 中 ， 这 些 都 不 好 全 盘 搬 到 子 进程 里 。 

fork0O 之 后 子 进程 中 只 有 一 个 线程 ， 其 他 线程 都 消失 了 ， 这 惑 造成 
一 个 危险 的 局 面 。 其 他 线程 可 能 正好 位 于 临界 区 之 内 ， 持 有 了 某 个 锁 ， 
而 它 突然 死亡 ， 再 也 没有 机 会 去 解 饥 了 。 如 果子 进程 试镜 再 对 同一 个 
mutex 加 锁 ， 就 会 立刻 死 锁 。 在 fork0 之 后 ， 子 进程 就 相当 于 处 于 signal 
handler 之 中 ， 你 不 能 调用 线程 安全 的 函数 《除非 它 是 可 重 入 的 ) ， 而 只 
能 调用 异步 信号 安全 (async-signal-safe) 的 函数 。 比 方 说 ，fork0 之 
后 ， 子 进程 不 能 调用 : 


-malloc(3)。 因 为 mallocO 在 访问 全 局 状态 时 几乎 衣 定 会 加 锁 。 

:任何 可 能 分 配 或 释放 内 存 的 国 数 ， 包 括 new、map::insert(O)、 
snprint{f3...... 

:任何 Pthreads 疯 数 。 你 不 能 用 pthread_cond_signal() 去 通知 父 进程 ， 
只 能 通过 读 写 pipe(2) 来 同步 #。 

printf() 系 列 疯 数 ， 因 为 其 他 线程 可 能 恰好 持 有 stdout/stderr 的 锁 。 

:除了 man 7 signal 中 明确 列 出 的 “signal 安 全 ”函数 之 外 的 任何 函数 。 


照 此 看 来 ， 唯 一 安全 的 做 法 是 在 fork0 之 后 立即 调用 exec0O 执 行 另 一 
个 程序 ， 彻 辰 隅 世子 进程 与 父 进程 的 联系 。 

不 得 不 说 ， 同 样 是 创建 进程 ，Windows 的 CreateProcessO 函 数 的 顾虑 
要 少 得 多 ， 因 为 它 创 建 的 进程 跟 当 前 进程 关联 较 少 。 


4.10 ”多 线程 与 signal 


Linux/Unix 的 信号 (signal) 与 多 线程 可 谓 是 水 火 不 容 3。 在 单线 程 
上 时代， 编写 信号 处 理 疯 数 (signal handler) 天 是 一 件 玉手 的 事情 ， 由 于 
signal 打 汤 了 正在 运行 的 thread of control， 在 signal handler 中 只 能 调用 


async-signal-safe 时 函数 ss， 即 所 谓 的 “可 重 入 (reentrant) ”函数 ， 束 好 比 
在 DOS 时 代 编 写 中 断 处 理 例 程 (ISR) = 一 样 。 不 是 每 个 线程 安全 的 函数 
部 是 可 重 入 的 ， 见 84.9 举 的 例子 。 

还 有 一 点 ， 如 末 signal handler 中 需要 修改 全 局 数据 ， 那 么 和 被 修 改 的 
变量 必须 是 sig_atomic_t 类 型 的 s。 否 则 被 打 断 的 函数 在 恢复 执行 后 很 可 
能 不 能 立刻 看 到 Signal handler 改 动 后 的 数据 ， 因 为 编 详 占有 可 能 假定 这 
个 变量 不 会 被 他 处 修改 ， 从 而 优化 了 内 存 访问 。 

在 多 线程 时 代 ，signal 的 语义 更 为 复杂 。 信 号 分 为 两 类 :发 庆 给 某 
一 线程 (SIGSEGV) ， 发 运 给 进程 中 的 任 一 线程 (SIGTERM) ， 还 要 
考虑 掩 码 (mask) 对 信号 的 屏 菩 等 。 特别 古 在 signal handler 中 不 能 调用 
任何 Pthreads 函 数 ， 不 能 通过 condition variable 来 通知 其 他 线程 。 

在 多 线程 程序 中 ， 使 用 signal 的 第 一 原则 是 不 要 使 用 signal*。 包 括 


:不 要 用 signal 作 为 IPC 的 手段 ， 包 括 不 要 用 SIGUSR1 等 信号 来 触发 
服务 病 的 行为 。 如 条 确实 需要 ， 可 以 用 89.5 介 绍 的 增加 监听 中 口 的 方式 
来 实现 双 同 的 、 可 远程 访问 的 进程 控制 。 

:也 不 要 使 用 基于 signal 实 现 的 定时 函数 ， 包 括 
alarm/ualarm/setitimer/timer_create 、sleep/usleep 等 等 。 

:不 主动 处 理 各 种 异常 信号 (SIGTERM、SIGINT 等 等 ) ， 只 用 默认 
语义 : 结束 进程 。 有 一 个 例外 : SIGPIPE， 服 务 器 程序 通常 的 做 法 是 忽 
略 此 信号 2， 人 否则 如 采 对 方 断 开 连接 ， 而 本 机 继续 write 的 话 ， 会 导致 程 
序 意 外 终止 。 

-在 没有 列 的 丛 代 方法 的 情况 下 比方 说 需要 人 处理 SIGCHLD 信 
写 ) ， 把 卉 步 信 写 转 换 为 同步 的 文件 插 述 从 事件 。 传 统 的 做 法 是 在 
signal handler 里 往 一 个 特定 的 pipe(2) 写 一 个 字 节 ， 在 主 程序 中 从 这 个 
pipe 读 取 ， 从 而 纳入 统一 的 IO 事件 处 理 框 架 中 去 。 现 代 Linux 的 做 法 是 采 
用 signalfd(2) 把 信号 直接 转换 为 文件 手 述 从 事件 ， 从 而 从 根本 上 避免 使 
用 signal handler*。 


4.11 Linux 新 增 系 纺 调 用 的 司 示 


本 看 的 内 容 源 上 自我 的 一 遍 同 名 博客 2， 省 略 了 signalfd、timerfd、 
eventfd 等 内 容 ， 对 此 感 兴趣 的 恋 者 可 阅读 原文 。 

大 致 从 Linux 内 核 2.6.27 起 ， 凡 是 会 创建 文件 摘 述 符 的 syscall 一 般 都 
增加 了 额外 的 flags 参 数 ， 可 以 直接 指定 O_NONBLOCK 和 


FD CLOEXEC， 例 如 : 


-accept4 - 2.6.28 
‘eventf{fd2 - 2.6.27 
inotify_init1 - 2.6.27 
“pipe2 - 2.6.27 
‘signalfd4 - 2.6.27 
‘timerfd create - 2.6.25 


以 上 6 个 syscall， 除 了 最 后 一 个 是 2.6.25 的 新 功能 ， 其 余 的 都 是 增强 原 有 
的 调用 ， 把 数字 尾 写 去 挥 就 是 原来 的 syscall。 

O_NONBLOCK 的 功能 是 开 局 “ 非 阻 嗜 10?， 而 文件 拍 述 符 款 认 是 阻 
塞 的 。 这 些 创建 文件 措 述 符 的 系统 调用 能 直接 设 定 O_NONBLOCK 选 
项 ， 其 或 许 能 反映 当前 Linux《〈 服 务 病 ) 开 友 的 风 问 ， 即 我 在 83.3 里 推荐 
的 one loop per thread + (non-blocking IO with IO multiplexing) 。 从 这 些 
内 核 改动 来 看 ，non-blocking IO 己 经 主流 到 让 内 核 增加 syscall 以 节省 一 
次 fcntl(2) 调 用 的 程度 了 。 

男 外 ， 以 下 狐 系 统 调用 可 以 在 创建 文件 摘 述 从 时 开局 
FD_CLOEXEC 选 项 : 


‘dup3 - 2.6.27 
“epoll_createl - 2.6.27 
‘socket - 2.6.27 


FD_CLOEXEC 的 功能 是 让 程序 exec( 时， 进程 会 自动 关闭 这 个 文件 
描述 符 。 而 文件 描述 默认 是 裤子 进程 继承 的 〈 这 是 传统 Unix 的 一 种 典型 
IPC， 比 如 用 pipe(2) 在 父子 进程 间 单 癌 通 信 ) 。 

以 上 8 个 新 syscall 都 允许 直接 指定 ED_CLOEXEC， 或 许 说 明 forkO) 的 
主要 目的 已 经 不 再 是 创建 worker process 并 通过 共享 的 文件 描述 符 和 父 进 
程 保持 通信 ， 而 是 像 Windows 的 CreateProcess 那 样 创建 < 干将 ”的 进程 

(fork0O 之 后 立刻 execO0) ， 其 与 父 进程 没有 多 少 瓜 为 。 为 了 回避 
forkO+execO 之 间 文 件 摘 述 符 汇 漏 的 race condition， 这 才 在 几乎 所 有 能 新 
建文 件 摘 述 符 的 系统 调用 上 引入 了 FD_CLOEXEC 参 数 ， 参 见 Ulrich 
Drepper 的 短文 《Secure File Descriptor Handling》2。 

以 上 两 个 flags 在 我 看 来 ， 说 明 Linux 服 务 器 开发 的 主流 模型 正在 由 
forkO 十 worker processes 模 型 转变 为 第 3 章 推 荐 的 多 线程 模型 。fork0O 的 使 
用 频 度 会 大 大 降低 ， 将 来 或 许 只 有 专门 负 贡 局 动 刚 的 进程 的 “看 门 狗 程 


厅 ” 才 会 调用 fork()， 而 一 艇 的 网 络 服 务 颖 程序 不 会 再 fork() 出 子 进程 了 。 
原因 之 一 是 ，fork() 一 般 不 能 在 多 线程 程序 中 调用 (84.9) 。 


小 结 


本 章 只 讨论 了 多 线程 编程 的 技术 方面 ， 没 有 讨论 设计 方面 ， 特 列 是 
没有 讨论 访 如 何 规划 一 个 多 线程 服务 程序 的 线程 数目 及 用 途 。 我 个 人 遵 
循 的 编写 多 线程 C++ 程序 的 原则 如 下 : 


线程 是 宝 员 的 ， 一 个 程序 可 以 使 用 几 个 或 十 几 个 线程 。 一 台 机 玫 
上 不 应 该 同时 运行 几 百 个 、 几 和 干 个 用 户 线 程 ， 这 会 大 大 增加 内 核 
scheduler 的 负担， 降低 整体 性 能 。 

线程 的 创建 和 销毁 是 有 代价 的 ， 一 个 程序 最 好 在 一 开始 创建 所 需 
的 线程 ， 并 一 直 反 复 使 用 。 不 要 在 运行 期 间 反 复 创 建 、 销 虹 线 程 ， 如 末 
必须 这 么 做 ， 其 频 度 最 好 能 降 到 1 分 钟 1 次 (或 更 低 )。 

每 个 线程 应 该 有 明确 的 职责 ， 例 如 IO 线程 《运行 
EventLoop::loop()， 处 理 IO 事 件 ) 、 计 算 线 程 〈 位 于 ThreadPool 中 ， 人 负责 
计算 ) 等 等 。 

线程 之 间 的 交互 应 该 尽量 人 简单， 理想 情况 下 ， 线 程 之 则 只 用 消 忆 
传递 〈 例 如 BlockingQueue) 方式 交互 。 如 果 必 须 用 锁 ， 那 么 最 好 避 傲 
一 个 线程 同时 持 有 两 把 或 更 多 的 锁 ， 这 样 可 彻 展 防止 死 锁 。 

:要 预先 考虑 清楚 一 个 mutable shared 对 象 将 会 暴露 给 哪些 线程 ， 
个 线程 是 读 还 是 号 ， 读 写 有 无 可 能 并 有 进行 。 


注 冬 

1 这 意味 看 时 空 观 的 转变 ， 从 牛顿 的 绝对 时 空 观 转变 为 爱 因 斯 坦 的 相对 论 时 空 观 ， 分 布 
式 系统 也 面临 类 似 的 思维 方式 转变 ， 见 第 9 章 。 

2 在 多 CPU 机 器 上 ， 假 设 主板 上 两 个 物理 CPU 的 距离 为 15cm，CPU 主 频 是 2.4GHz， 电 信 
写 在 电路 中 的 传播 速度 按 2x10? m/s 估算 ， 那 么 在 1 个 时 钟 周期 (0.42ns) 之 内 ， 电 信和 号 不 能 从 一 
个 CPU 到 达 另 一 个 CPU。 因 此 对 于 每 个 CPU 自己 这 个 观察 者 来 说 ， 它 看 到 的 事件 发 生 的 顺序 没 
有 全 局 一 致 性 。 

3 Leslie Lamport: 《Time, Clocks and the Ordering of Events in a Distributed System 》 


Chttp://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf ) 。 
4 严格 来 说 ， 全 局 running 的 赋值 和 读 取 应 该 用 mutex 或 者 memory barrier， 但 不 影响 这 里 的 
讨论 。 











包括 只 针对 POSIX 操 作 系 统 〈(Linux、Solaris、FreeBSD 等 等 ) 的 路 平台 。 
2004 年 Linux 2.6 内 核 友 布 之 后 ，NPTL 线 程 库 。 
http://www.hpl.hp.com/techreports/2004/HPL-2004-209.pdf 
http://pubs.opengroup.org/onlinepubs/9699919799/functions/V2 chap02.html#tag 12 09 
fread unlocked、fwrite_ unlocked 等 等 ， 见 man unlocked stdio。 


束 跟 C++ 腊 和 常安 全 也 是 不 可 组 合 的 一 样 。 
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11 这 意味 着 标准 库容 器 不 能 采用 自 调整 (self-adjusting〉 的 数据 结构 ， 比 如 splay tree， 这 
种 数据 #8 构 在 read 的 时 候 也 会 修改 状态 ， 见 http://www.cs.au.dk/~gerth/aal1/slides/selfadjusting.pdf 。 
12 std::random_shuffle() 可 能 是 个 例外 ， 它 用 到 了 随机 数 发 生 器 。 
13 最 六 值 古 /proc/sys/kernel/pid_ max， 默 认 情 况 下 是 32768。 
14 ”这 个 做 法 是 受 了 glibc 封 装 getpid() 的 启发 。 
15 ”线程 数目 可 以 从 /proc/pid/status 拿 到 。 
16 ”本章 所 指 的 “全 局 对 象 * 也 包括 namespace 级 全 局 对 象 、 文 件 级 静态 对 象 、class 的 静态 对 
但 不 包括 函数 内 的 静态 对 象 。 
17 http://blog.csdn.net/program think/article/details/3221107 
18 ”通常 伴随 进程 死亡 。 如 果 程 序 中 的 茶 个 线程 瘟 外 终止 ， 我 不 认为 让 进程 继续 市 伤 运行 
下 去 有 何必 要 
19 http://wwwicppblog com/lymons/archive/2008/12/19/69810.html 
20 http://www.cppblog.com/lymons/archive/2008/12/23/70227.html 
21 http://www.boost.org/doc/libs/1 34 0/doc/html/thread/faq.html! 
22 http://stackoverflow.com/questions/433989/posix-cancellation-points 


23 
http://pubs.opengroup.org/onlinepubs/000095399/functions/xsh chap02 09.html#tag 02 09 05 02 

24 http://udrepper.livejournal.com/21541.html 

25 比如， 中 国 每 年 几 大 节日 放假 安排 要 等 到 头 一 年 年 底 才 由 国务 院 假 日 办 公布 。 又 比如 
2012 年 英 女 王 登 基 60 周 年 ， 炎 国 新 加 了 一 两 个 节日 。 

26 http://www.akkadla.org/drepper/tls.pdf 

27 http://gcc.gnu.org/onlinedocs/gcc/Thread 002dLocal.html 
没有 特殊 说 明 时 ， 指 TCP socket。 
参考 http://github.com/chenshuo/muduo-protorpc 的 Zurg slave 示 例 。 
在 现代 Linux glibc 中 ，fork(3) 不 是 直接 使 用 fork(2) 系 统 调用 ， 而 是 使 用 clone(2) 
all， 不 过 不 影响 这 里 的 讨论 。 
http://www.linuxprogrammingblog.com/threads-and-fork-think-twice-before-using-them 
http://www.cppblog.com/lymons/archive/2008/06/01/31836.html 
在 浮 点 数 转换 为 字符 串 的 时 候 有 可 能 需要 动态 分 配 内 存 。 
见 http://github.com/chenshuo/muduo-protorpc 中 Zurg slave 示 例 的 Process::start()。 
http://www.linuxprogrammingblog.com/all-about-linux-signals?page=11 
http://pubs.opengroup.org/onlinepubs/9699919799/functions/V2 chap02.html#tag 12 04 03 
http://en.wikipedla.org/wikiI/Interrupt_handler 
http://www.gnu.org/software/libc/manual/html_ mono/libc.html#Atomic-Data-Access 
Ss http//www.cppblog. com/lymons/archive/2008/06/01/51838.html 和 51837.html 
40 在 命令 行 程序 中 ， 献 认 的 SIGPIPE 行 为 非常 有 用 。 例 如 合 看 日 志 中 的 前 10 条 锯 误 信 
， 可 以 用 管 # 道 将 命令 中 起 来 : gunzip -c log.gz | grep ERROR | head， 由 于 head 关 闭 了 和 党 道 的 写 
入 庙 grep 会 遇 到 SIGPIPE 而 终止 ， 同 理 gunzi 也 束 不 需要 解压 缩 整 个 巨大 的 日 志文 件 。 这 也 可 

能 是 Unix 默 认 使 用 阻塞 IO 的 历史 原因 之 一 。 

41 ”例子 见 http://github.com/chenshuo/muduo-protorpc 中 Zurg slave 示 例 的 ChildManager 
Class 。 

42 http://blog.csdn.net/Solstice/article/detalls/3 32/7881 

43 http://udrepper.livejournal.com/20407.html 
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第 5 章 ” 局 效 的 多 线程 日 记 
“日 志 (logging) ”有 两 个 意思 : 


诊断 日 志 (diagnosticlog) Blog4j、logback、 Slf4、 、glog、 
slog、 log4cxx、 log4cpp、log4cplus、Pantheios、ezlogger 等 第 用 日 志 库 
提供 的 日 志 功 能 
交易 日 志 ee log) ” 即 数 据 库 的 write-ahead log:、 文 件 
系统 的 journaling: 等 ， 用 于 记录 状态 变更 ， 通 过 回放 日 志 可 以 逐步 恢复 
一 次 修改 之 后 的 状态 。 


本 章 的 “日 志 ? 是 前 一 个 意思 ， 即 文本 的 、 供 人 阅读 的 日 志 ， 通 利用 
于 故障 诊断 和 退 躁 (trace〉:， 也 可 用 于 性 能 分 析 。 日 志 通 第 是 分 布 式 
系统 中 事故 调查 时 的 唯一 线索 ， 用 来 奶 寻 蛛丝马迹 ， 查 出 元 凶 。 

人 在 服务 新 编程 中 ， 日 志 古 必 个 可 少 的 ， 在 生产 环境 中 应 该 做 到 “Log 
Everything All The Time”: 。 对 于 关键 进程 ， 日 志 通 第 要 记录 


网 1. 收 到 的 每 条 内 部 消 因 的 id “还 可 以 包括 关键 字段 、 长 上 度 、hash 
等 ) ; 

2. 收 到 的 每 条 外 部 消息 的 全 文 : 

3. 发 出 的 每 条 消 因 的 全 文 ， 每 条 消 因 都 有 全 局 唯一 的 id:; 

4. 关键 内 部 状态 的 变更 ， 等 等 。 


每 条 日 志 都 有 时 间 戳 ， 这 样 焉 能 完整 退 踪 分 布 式 系统 中 一 个 事件 的 
来 龙 去 脉 也 只 有 这 样 才能 碍 清楚 发 生 故 障 时 究竟 发 生 了 什么 ， 比 如 业 
务 处 理 流程 卡 在 了 哪 一 步 。 

诊断 日 志 不 光 是 给 程序 员 看 的 ， 更 多 的 时 候 是 给 运 维 人 员 看 的 ， 因 
此 日 志 的 内 容 应 避免 造成 误解 ， 不 要 误导 调查 故障 的 主攻 方向 ， 拖 延 故 
障 解 决 的 时 间 。 

一 个 日 志 库 大 体 可 分 为 前 端 〈frontend) 和 后 端 (backend) 两 部 
分 。 前 端 是 供应 用 程序 使 用 的 接口 (API) ， 并 生成 日 志 消 息 (log 
message) ; 后 内 则 负责 把 日 总 消息 写 到 目的 地 〈destination) 。 这 两 部 
分 的 接口 有 可 能 简单 到 只 有 一 个 回调 函数 : 


vold output(const char* message, int len): 


其 中 的 message 字 符 串 是 一 条 完整 的 日 记 消息 ， 包 含 日 志 级 列 、 时 间 
狼 、 源 文件 位 置 、 线 程 id 等 基本 字段 ， 以 及 程序 输出 的 其 体 消 晨 内 容 。 

在 多 线程 程序 中 ， 前 病 和 后 山 都 与 单线 程 程序 无 其 区别， 无 非 是 每 
个 线程 有 目 己 的 前 咒 ， 整 个 程序 共用 一 个 后 端 。 但 难点 在 于 将 日 志 数 据 
从 多 个 前 端 高 效 地 传输 到 后 疹 ?。 这 是 一 个 典型 的 多 生产 者 - 单 消 费 者 问 
题 ， 对 生产 者 (前 问 ) 而 言 ， 要 尽量 做 到 低 延 迟 、 低 CPU 开销 、 无 阻 
四 对 消费 者 (后 新 ) 而 言 ， 要 做 到 足够 大 的 吞吐 量 ， 并 占用 较 少 资 
源 。 

对 C++ 程序 而 言 ， 最 好 整个 程序 〈 包 括 主 程序 和 程序 库 ) 都 使 用 相 
同 的 日 志 库 ， 程 序 有 一 个 整体 的 日 志 输 出 ， 而 不要 各 个 组 件 有 各 目的 日 
志 输 出 。 从 这 个 意义 上 讲 ， 日志 库 是 个 singleton。 

C++ 日 志 库 的 前 端 大 体 上 有 两 种 API 风 格 : 


:C/Java 的 printf(fmt, ...) 风 格 ， 例 如 

log_info("Received %d bytes from %s", len, getClientName().c_str()); 

:C++ 的 Stream << 风 格 ， 例 如 

LOG_INFO << "Received " << len << " bytes from " << 
getClientName(); 


muduo 日 志 库 是 C++ stream 风 格 ， 这 样 用 起 来 更 日 然 ， 不 必 费 心 保 
持 格式 字符 串 与 参数 类 型 的 一 致 性 ， 可 以 随 用 随 写 ， 而 且 是 类 型 安全 3 
的 。 

Stream 风格 的 另 一 个 好 处 是 当 输 出 的 日 志 级 别 高 于 语句 的 日 志 级 别 
时 ， 打 印 日 志 是 个 空 操 作 a， 运 行 时 开销 接近 零 。 比 方 说 当日 志 级 别 为 
WARNING 时 ，LOG _INFO << 是 空 操作 ， 这 个 语句 根本 不 会 调用 
std::string getClientrName() 函 数 ， 减 小 了 开销 。 而 printf 风 格 不 易 做 到 这 一 

muduo 没 有 用 标准 库 中 的 iostream， 而 是 目 己 写 的 LogStream classz 
， 这 主要 是 出 于 性 能 原因 (811.6.6) 。 


5.1 功能 需求 


常规 的 通用 日 志 库 如 log4j*/ogback* 通 常会 提供 丰富 的 功能 ， 但 这 
些 功能 不 一 定 全 都 是 必需 的 。 


1. 日 志 消 息 有 多 种 级 别 (level) ， 如 TRACE、DEBUG、INFO、 


WARN、ERROR、FATAL 等 。 

2. 日 志 消 息 可 能 有 多 个 目的 地 〈appender) ， 如 文件 、socket、 
SMTP 等 。 

3. 日 志 消 恩 的 格式 可 配置 (layout〉， 例 如 
org.apache.log4j.PatternLayout。 

4. 可 以 设置 运行 时 过 滤器 (filter) ， 控 制 不 同 组 件 的 日 志 消 息 的 
级 别 和 目的 地 。 


,在 上 和 面 这 儿 项 中 ， 我 认为 除了 第 一 项 之 外 ， 其 余 三 项 都 契 非 必 和 需 的 


功能 。 

日 志 的 输出 级 别 在 运行 时 可 调 ， 这 样 同 一 个 可 执行 文件 可 以 分 别 在 
QA 测 斌 环境 的 时 候 输 出 DEBUG 级 别 的 日 志 ， 在 生产 环境 输出 INFO 级 
别 的 日 志 s。 在 必要 的 时 候 也 可 以 临时 在 线 调 整 日 志 的 输出 级 别 。 例 如 
某 台 机 占 的 消 居 量 过 大 、 日 志文 件 太 多 、 人 磁盘 空 间 案 张 ， 那 么 可 以 临时 
调整 为 WARNING 级 别 输出 ， 减 少 日 志 数 目 。 叉 比如 某 个 新 上 线 的 进程 
的 行为 略 显 古怪 ， 则 可 以 临时 调整 为 DEBUG 级 别 输 出 ， 打 印 更 细节 的 
日 志 消 息 以 便 分 析 碍 错 。 调 整 日 志 的 输出 级 别 不 需要 重新 编译 ， 也 不 需 
要 重 局 进程 ， 只 要 调用 muduo::Logger::setLogLevel0 束 能 即时 生效 。 

对 于 分 布 式 系统 中 的 服务 进程 而 言 ， 日 志 的 目的 地 (destination) 
只 有 一 个 : 本 地 文件 。 往 网 络 写 日 志 消 晨 是 不 徘 谱 的 ， 因 为 诊断 日 志 的 
功能 之 一 正 是 诊断 网 络 故 障 ， 比 如 连接 断 开 (网 卡 或 交换 机 故障 ) 、 网 
络 暂 时 不 通 〈 知 于 秒 之 内 没有 收 到 心跳 消息 ) 、 网 络 拥塞 〈 消 息 延 迟 明 
显 加 大 ) 等 等 。 如 果 日 志 消息 也 是 通过 网 络 发 到 另 一 人 台 机 亏 上 的 ， 那 岂 
不 是 一 损 俱 损 ? 如 果 接 收 网 络 日 总 消息 的 服务 右 〈 日 志 服 务 右 ) 发 生 故 
障 或 者 出 现 进程 死 锁 〈 阳 老 ) ， 通 稼 会 导致 发送 日 志 的 多 个 服务 进程 阻 
守 ， 或 者 内 存 暴涨 〈 用 户 态 和 内 核 的 TCP 缓 存 ) ， 这 无 异 于 放大 了 单机 
故障 。 往 网 络 写 日 志 消 晨 的 男 一 个 坏处 是 增加 网 络 市 需 消 耗 。 试 想 收 到 
一 条 业务 消息 、 发 出 一 条 业务 消息 时 都 会 写 日 六， 如 果 写 到 网 络 上 电 不 
是 让 网 络 市 宽 消 耗 翻 作 ， 加 剧 trashing? 同 理 ， 应 该 避免 往 网 络 文件 系 
统 〈 例 如 NFS) 上 写 日 志 ， 这 等 于 掩耳盗铃 。 

以 本 地 文件 为 日 志 的 destination， 那 么 日 志文 件 的 深 动 (rolling) 是 
必需 的 ， 这 样 可 以 人 简化 日 志 归 档 〈archive) 的 实现 。rolling 的 条 件 通 党 
有 两 个 :文件 大 小 《例如 每 写 满 1GB 惑 换 下 一 个 文件 ) 和 时 间 “例如 每 
天 零点 新 建 一 个 日 志文 件 ， 不 论 前 一 个 文件 有 没有 与 满 ) 。muduo 日 志 
库 的 LogFile 会 目 动 根据 文件 大 小 和 时 间 来 主动 深 动 日 志文 件 。 既 然 能 主 
动 rolling， 自 然 也 整 不必 支 持 SIGUSR1 了 ， 上 毕竟 多 线程 程序 处 理 signal 很 
麻烦 (84.10) 。 


一 个 与 型 的 日 志文 件 的 文件 名 如 下 : 
logfile_test.2012060-1440622.hostname.3605.1og 
文件 名 由 以 下 儿 部 分 组 成 : 


:第 1 部 分 logfile_test 是 进程 的 名 字 。 通 常 是 main() 函 数 参 数 中 argv[0] 
的 basename(3)， 这 样 容易 区 分 完 苋 是 哪个 服务 程序 的 日 志 。 必 要 时 还 可 
以 把 程序 版 本 加 进去 。 

.第 2 部 分 是 文件 的 创建 时 间 (GMT 时 区 )〉 。 这 样 很 容易 通过 文件 名 
来 选择 汞 一 时 间 范 围 内 的 日 志 ， 例 如 用 通配符 *.20120603-14* 表 示 2012 
年 6 月 3 日 下 午 2 点 (GMT) 左右 的 日 志文 件 (s)。 

:第 3 部 分 是 机 器 名 称 。 这 样 即 便 把 日 志文 件 找 贝 到 别 的 机 右上 也 能 
退 调 其 来 源 。 

:第 4 部 分 是 进程 让 。 如 果 一 个 程序 一 秒 之 内 反复 重 局 ， 那 么 每 次 都 
会 生成 不 同 的 日 志文 件 ， 参 考 89.4。 

:第 5 部 分 是 统一 的 后 缀 名 .ljog。 同 样 是 为 了 便于 周边 配 肆 脚本 的 编 
上 


muduo 的 日 志文 件 深 动 没有 玉 用 文件 改名 的 办 法 ， 即 dmesg.log 是 最 
新 日 志 ，dmesg.log.1 是 前 一 个 日 志 ，dmesg.log.2.9z 是 更 早 的 日 志 等 。 这 
种 做 法 的 一 个 好 处 是 dmesg.log 始终 是 最 新 日 志 ， 便 于 编写 某 些 及 时 解析 
日 志 的 脚本 。 将 来 可 以 增加 一 个 功能 ， 每 次 滚动 日 志文 件 之 后 立刻 创建 

(更 新 ) 一 个 symlink，logfile test.log 始终 指 问 当前 最 新 的 日 志文 件 ， 这 

样 达 到 相同 的 效果 。 

日 志文 件 压 缩 与 归档 (archive) 不 是 日 志 库 应 有 的 功能 ， 而 应 该 
交 给 专门 的 脚本 去 做 ， 这 样 C++ 和 Java 的 服务 程序 可 以 共享 这 一 基础 设 
施 。 如 果 想 更 换 日 志 压 缩 算 法 或 归档 策略 也 不 必 动 业务 程序 ， 改 改 周 边 
配套 脚本 就 行 了 。 人 磁盘 空间 监控 也 不 是 日 志 库 的 必 备 功能 。 有 人 或 许 
经 过 到 日 志文 件 把 磁盘 占 满 的 情况 ， 因 此 希望 日 志 库 能 限制 空间 使 用 ， 
例如 只 分 配 10GB 磁 盘 空 间 ， 用 满 之 后 就 冲 掉 旧 日 志 ， 重 复 利 用 空间 ， 
束 像 循环 磁带 一 样 。 殊 不 知 如 果 出 现 程 序 死 循环 拼命 写 日 志 的 寞 意 情 
况 ， 那 么 往往 是 开头 的 几 条 日 志 最 关键 ， 它 往往 反映 了 引发 异常 

(busy-loop) 的 原因 (例如 收 到 某 条 非法 消 肯 〉， 后 面 都 是 无 用 的 垃圾 

日 志 。 如 果 日 志 库 具备 重复 利用 空间 的 “功能 ”， 只 会 玫 倒 忙 。 人 磁盘 写 入 
的 带宽 按 100MB/s 计 算 ， 写 满 一 个 100GB 的 磁盘 分 区 需要 16 分 钟 ， 这 足 
够 监控 系统 报警 并 人 工 和 干预 了 〈89.2.1) 。 

往 文 件 写 日 志 的 一 个 党 见 问题 是 ， 万 一 程序 骨 泪 ， 那 么 最 后 奉 干 条 
日 志 往 往 束 丢失 了 ， 因 为 日 志 库 不 能 每 条 消 明 都 flush 人 硬盘 ， 更 不 能 每 条 


日 志 都 open/close 文 件 ， 这 样 性 能 开销 太 大 。muduo 日 志 库 用 两 个 办 法 来 
应 对 这 一 点 ， 其 一 是 定期 (默认 3 秒 ) 将 绥 神 区 内 的 日 总 消息 flhush 到 硬 
盘 ; 其 二 是 每 条 内 存 中 的 日 志 消 恩 部 市 有 cookie (或 者 叫 响 兵 
值 /sentry) ， 其 值 为 条 个 函数 的 地 址 ， 这 样 通 过 在 core dump 文 件 中 查找 
cookiez 融 能 找到 尚未 来 得 及 与 入 磁盘 的 消 妃 。 

日 志 消 息 的 格式 是 固定 的 ， 不 需要 运行 时 配置 ， 这 样 可 节省 每 条 日 
志 解 析 格 式 字 符 串 的 开销 。 我 认为 日 志 的 格式 在 项 目的 整个 生命 周期 几 
平 不 会 改变 ， 因 为 我 们 经 常会 为 不 同 目的 编写 parse 日 志 的 脚本 ， 既 要 解 
析 了 最近 几 天 的 日 志文 件 ， 也 要 和 几 个 月 之 前 ， 其 至 一 年 之 前 的 日 志文 件 
的 同类 数据 做 对 比 。 如 果 在 此 期 间 日 志 格 式 变 了 ， 势 必 会 增加 很 多 无 请 
的 工作 量 。 如 和 果真 的 需要 调整 消息 格式 ， 直 接 修 改 代 但 并 重新 编译 即 
可 。 以 下 是 muduo 日 志 库 的 默认 消 居 格式 : 
日 其 时 间 微 秒 线程 级 别 正文 源 文 件 名 : 行 号 
20120603 0@8:02:46.1257707 23261 INFO Hello - test.cce:51 
28128683 08:02:46.1269262Z 23261 WARN World - test.cc:52 
20120603 0@8:02:46.1269977 23261 ERROR Error - test.cc:53 


日 志 消 县 格式 有 几 个 要 点 。 


:尽量 每 条 日 志 占 一 行 。 这 样 很 容易 用 awk、sed、grep 等 命令 行 工 具 
来 快速 联机 分 析 日 志 ， 比 方 说 要 查看 “2012-06-03 08:02:00” 人 至 “2012-06- 
03 08:02:59” 这 1 分 钟 内 每 秒 打印 日 志 的 条 数 〈 直 方 图 ) ， 可 以 运行 

$ grep -0 “20120603 08:02:..' | sort | unig -c 

-时间 惟 精 确 到 人 微 秒 。 每 条 消息 都 通过 gettimeofday(2) 获 得 当前 时 
闭 ， 这 么 做 不 会 有 什么 性 能 损失 。 因 为 在 x86-64 Linux 上， 
gettimeofday(2) 个 是 系统 调用 ， 不 会 陷入 内 核 s* (可 用 strace(1) 验 证 
muduo/base/tests/TImestamp unittest.cc ) 。 

-始终 使 用 GMT 时 区 (Z〉。 对 于 器 洲 的 分 布 式 系统 而 言 ， 可 省 去 本 
地 时 区 转换 的 肤 烦 ( 别 坪 了 主要 西方 国家 大 多 实行 夏令 时 ) ， 更 易于 退 
但 事件 的 顺序 。 

:打印 线程 id。 便 于 分 析 多 线程 程序 的 时 序 ， 也 可 以 检测 死 锁 2。 这 
里 的 线程 id 是 指 调用 LOG INFO << 的 线程 ， 线 程 id 的 获取 见 $4.3。 

-打印 日 志 级 别 。 在 线 查 错 的 时 候 先 看 看 有 无 ERROR 日 志 ， 通 第 可 
加 速 定 位 问题 。 

-打印 源 文件 名 和 行 写 。 修 复 bug 的 时 候 不 至 于 搞 错 对 象 。 


每 行 日 忘 的 前 4 个 字段 的 宽度 古 固定 的 ， 以 空格 分 隅 ， 便 于 用 脚本 
解析 。 为 外 ， 应 该 避 倪 在 日 志 格 式 〈 特 别 是 消息 id*)〉 中 出 现 正 则 表达 


式 的 元 字符 (meta character) ， 例 如 [和 等 等 ， 这 样 在 用 less(1) 合 看 日 
志文 件 的 时 候 人 查找 字 人 符 串 更 加 便捷 。 
运行 时 的 日 志 过 滤器 filter) 或许 是 有 用 的 ， 例 如 控制 不 同 部 件 

(程序 库 ) 的 输出 日 志 级 别 ， 但 我 认为 这 应 该 放 到 编译 期 去 做 ， 整 个 程 
序 有 一 个 整体 的 输出 级 别 就 足够 好 了 。 同 时 我 认为 一 个 程序 同时 写 多 个 
日 志文 件 : 是 非常 罕见 的 需求 ， 这 可 以 事后 留 给 log archiver 来 分 流 ， 不 
必 做 到 日 志 库 中 。 不 实现 flter 目 然 也 能 减 小 生成 每 条 日 志 的 运行 时 开 
销 ， 可 以 提 融 日 志 库 的 性 能 。 


5.2 性 能 需求 


编写 Linux 服 务 问 程 序 的 时 候 ， 我 们 第 要 一 个 局 效 的 日 志 库 。 只 有 
日 志 库 足够 高 效 ， 程 序 员 才 敢 在 代码 中 输出 足够 多 的 诊断 信息 ， 减 小 运 
维 难 度 ， 提 升 效率 。 融 效 性 体现 在 几 方 面 : 


:每 秒 写 几 千 上 万 条 日 志 的 时 候 没 有 明显 的 性 能 损失 。 

-能 应 对 一 个 进程 产生 大 量 日 志 数 据 的 场景 ， 例 如 1GB/min。 

:不 阻塞 正常 的 执行 流程 。 

:在 多 线程 程序 中 ， 不 造成 争 用 (contention) 。 这 里 列举 一 些 具体 
的 性 能 指标 ， 考 虑 往 普通 7200rpm SATA 硬 盘 写 日 志文 件 的 情况 : 

:做 盘 市 宽 约 是 110MB/S， 日 坊 库 应 该 能 瞬时 写 满 这 个 市 宽 〈 不 必 持 
续 太 久 ) 。 
网 假如 每 条 日 志 少 明 的 平均 共度 是 110 字 市 ， 这 意味 着 1 秒 要 写 100 万 
才 ~ 日 /AN o 


以 上 是 “高 性 能 ”日 志 库 的 最 低 指 标 。 如 果 倒 盘 市 宽 更 局 ， 那 么 日 志 
库 的 预期 性 能 指标 也 会 相应 提高 。 反 过 来 说 ， 在 人 磁盘 带宽 确定 的 情况 
下 ， 日 志 库 的 性 能 只 要 “足够 好 ? 束 行 了 。 假 如 茶 个 神奇 的 日 总 库 1 秒 能 
往 /devnull 写 1000MB 数 据 ， 那 么 到 哪里 去 找 这 么 快 的 磁盘 来 让 程序 写 诊 
断 日 志 呢 ? 

这 些 指标 初 看 起 来 有 些 异 想 天 开 ， 什 么 程序 需要 1 秒 写 100 万 条 上 日志 
消息 呢 ? 换 一 个 角 虚 其 实 很 容易 想 明 白 ， 如 果 一 个 程序 耗 义 全 部 CPU 资 
源 和 磁盘 禹 宽 可 以 做 到 1 秒 写 100 万 条 日 志 消 奶 ， 那 么 当 只 需要 1 秒 写 10 
万 条 日 志 的 时 候 2， 立 刻 就 能 腾 出 90% 的 资源 来 干 正 事 〈 处 理 业 务 ) 。 
相反 ， 如 有 果 一 个 日 志 库 在 满 负 街 的 情况 下 只 能 1 秒 写 10 万 条 日 塌 ， 真 正 
用 到 生产 环境 ， 义 怕 束 只 能 1 秒 写 1 万 条 日 志 才 不 会 影 啊 正 常 业 务 人 处 理 ， 


这 其 实 遍 制 了 服务 占 的 硅 吐 量 。 


”i52500 i5-2500 

”MiB/s | ”消息 /s 
242.2 万 

234.2 万 


jmpliog | 60 万 | 898 | 330 万 | 2253 
可 见 muduo 日 志 库 在 现在 的 PC 上 能 写 到 每 秒 200 万 条 消息 ， 玫 宽 足 

够 撑 满 两 个 千 兆 网 连接 或 4 个 SAATA 组 成 的 RAID10， 性 能 是 达标 的 #。 
为 了 实现 这 样 的 性 能 指标 ，muduo 日 志 库 的 实现 有 几 点 优化 措施 值 


得 一 提 : 





-时间 惟 字符 串 中 的 日 期 和 时 间 两 部 分 是 缓存 的 ， 一 秒 之 内 的 多 条 
日 志 只 需 重 新 格式 化 微 秒 部 分 ss。 例 如 此 处 出 现 的 3 条 日 志 消 居 
中 , “20120603 08:02:46” 是 复 用 的 ， 每 条 日 忘 只 圾 要 格式 化 做 秒 部 分 

(“.1257702Z”) 。 

日 志 消 恩 的 前 4 个 字段 是 定 长 的 ， 因 此 可 以 避免 在 运行 期 求 字 符 串 
长 上 度 ( 不 会 反复 调用 strlen*〉 。 因 为 编译 费 认 识 memcpy0 函 数 ， 对 于 害 
长 的 内 存 复制 ， 会 在 编译 期 把 它 inline 展 开 为 高 效 的 目标 代码 。 

线程 id 是 预 完 格 式 化 为 字符 串 ， 在 输出 日 志 消 晨 时 只 需 人 简单 捞 风 几 
个 字 节 。 见 CurrentThread::tidString()。 

每 行 日 志 消 居 的 源 文件 名 部 分 采用 了 编译 期 计算 来 获得 
basename， 避 免 运行 期 strrchr(3) 开 销 。 见 SourceFile class， 这 里 利用 了 
gcc 的 内 置 函 数 。 


5.3 多 线程 异步 日 志 


多 线程 程序 对 日 志 库 提出 了 新 的 需求 : 线程 安全 ， 即 多 个 线程 可 以 
并 发 与 日 志 ， 两 个 线程 的 日 志 消 息 不 会 出 现 交 织 。 线 程 安全 不 难 办 到 ， 
简单 的 办 法 是 用 一 个 全 局 mutex 保 护 IJO， 或 者 每 个 线程 单独 写 一 个 日 志 
文件 xz， 但 这 两 种 做 法 的 高 效 性 束 堪 忧 了。 前 者 会 造成 全 部 线程 抢 一 个 
锁 ， 后 者 有 可 能 让 业务 线程 胆略 在 写 磁极 操作 上 。 

我 认为 一 个 多 线程 程序 的 每 个 进程 最 好 只 写 一 个 日 志文 件 ， 这 样 分 


析 日 志 更 容易 ， 不 必 在 多 个 文件 中 跳 来 跳 去 。 再 讽 多 线程 写 多 个 文件 也 
不 一 定 能 提速 ， 见 此 处 的 分 析 。 解 决 办 法 不 难 想到 ， 用 一 个 背景 线程 
人 负 贡 收集 日 志 消 晨 ， 并 写 入 日 志文 件 ， 其 他 业务 线程 只 演 往 这 个 “日 志 
线程 "发送 日 志 消 轧 ， 这 称 为 “ 措 步 日 志 ”。 

在 多 线程 服务 程序 中 ， 寞 步 日 志 (0H“ 非 阻 窗 日 志 ” 似 乎 更 准确 ) 是 
必需 的 ， 因 为 如 果 在 网 络 IO 线 程 或 业务 线程 中 直接 往 破 盘 写 数据 的 话 ， 
写 操 作 倡 尔 可 能 阻 才 长 达 数 秒 之 入 《原因 很 复杂 ， 可 能 是 破 盘 或 破 柱 控 
制 筑 复位 ) 。 这 可 能 导致 请 求 方 超时 ， 或 者 耽误 发 送 心跳 消息 ， 在 分 布 
却 系统 中 更 可 能 造成 多 米 诡 骨牌 效应 ， 例 如 误 报 死 锁 引 发 目 动 failover 
等 。 因 此 ， 在 正常 的 实时 业务 处 理 流程 中 应 该 彻 抵 避免 磁盘 IO， 这 在 使 
用 one loop per thread 模 型 的 非 阻 故 服 务 端 程序 中 尤为 重要 ， 因 为 线程 是 
复 用 的 ， 阻 徐 线 程 意 味 看 影 啊 多 个 客户 连接 。 

我 们 需要 一 个 “队列 ”来 将 日 志 前 并 的 数据 传送 到 后 并 (日 志 线 
程 》》， 但 这 个 “队列 ”不 必 是 现成 的 BlockingQueue<std::string>， 因 为 不 
用 每 次 产生 一 条 日 志 消 晨 都 通知 (notify()〉 接收 方 。 

muduo 日 忘 库 米 用 的 是 双 绥 冲 (double buffering) 技术 2， 基 本 思路 
是 准备 两 块 buffer: A 和 B， 前 问 负 贡 往 buffer A 十 数据 (日志 消 恩 ) ， 
后 问 负 贡 将 buffer B 的 数据 写 入 文件 。 当 buffer A 写 满 之 后 ， 交 换 A 和 PB， 
让 后 闹 将 buffer A 的 数据 写 入 文件 ， 而 前 闹 则 往 buffer B 填 入 狐 的 日 志 背 
轧 ， 如 此 往复 。 用 两 个 buffer 的 好 处 是 在 新 建 日 志 消 息 的 时 候 不 必 等 行 
人 磁盘 文件 操作 ， 也 避免 每 条 狐 日 志 消 居 都 触及 (唤醒 〉 后 曾 日 志 线 程 。 
换言之 ， 有 前 并 不 是 将 一 条 条 日 志 消 因 分 别传 送 给 后 疾 ， 而 是 将 多 条 日 志 
消 恩 拼 成 一 个 大 的 buffer 传 运 给 后 问 ， 相 当 于 批 处 理 ， 减 少 了 线程 唤醒 
的 频 上 度 ， 降 低 开 销 。 另 外 ， 为 了 及 时 将 日 志清 上 息 写 入 文件 ， 即 便 buffer 
A 未 满 ， 日 总 库 也 会 每 3 秒 执行 一 次 上 述 交 换 写 入 操作 。 

muduo 寞 步 日 志 的 性 能 开销 大 约 是 前 闹 每 与 一 条 日 志 消 居 耗 时 1.0ps 
全 1.6hs。 


天 键 代 但 


实际 实现 采用 了 四 个 缓冲 区 ， 这 样 可 以 进一步 减少 或 避免 日 志 前 病 
的 等 待 。 数 据 结 构 如 下 (muduo/base/AsyncLogging.h ) : 


typedef boost: :ptr_vector<LargeBuffer> BufferVvector ; 
typedef BufferVector::auto_type BufTerPtr ; 
muduo: :MutexLock mutex_: 

muduo: :Condition cond_: 


BufferPtr currentBuffer_; // 当前 缓冲 
BufferPtr nextBuffer_: 1/ 预备 缓冲 
BufferVector buffers_， /1 待 写 入 文件 的 已 填 满 的 缓冲 


其 中 ，LargeBuffer 类 型 是 FixedBuffer classtemplate 的 一 份 具体 实现 
(instantiation)， 其 大 小 为 4MB， 可 以 存 衬 少 1000 条 日 志 消 奶 。 
boost::ptr_vector<T>::auto_type 类 型 类 似 C+t+11 中 的 std::uniqgue_ptr， 上 其 备 
移动 语义 (move semantics) ， 而 且 能 目 动 管理 对 象 生 命 期 。mnutex 用 
于 保护 后 面 的 四 个 数据 成 员 。buffers_ 存放 的 是 供 后 疹 写 入 的 buffer。 
先 来 看 及 送 方 代 码 ， 即 此 处 回调 函数 outputO 的 实现 。 


muduo/base/AsyncLogging.cc 
28 void AsyncLogging::append(const char* logline, int len) 


29 二 

30 muduo: :MutexLockGuard lock(mutex_): 

31 if (currentBuffer_->avail(t) > len) 

32 { /i most common case: buffer is not fyull, copy data here 
33 currentBuffer_->append(logline, len): 

34 

35 else // buffer is full, push it, and find next spare buffer 
36 { 

37 buffers_.push_back(currentBuffer_.release()): 

38 

39 if (nextBuffer_) // is there is one already, use it 

40 { 
41 currentBuffer_ = boost::ptr_container: :move(nextBuffer_y);: /i 移动 ， 而 非 复制 
42 

43 else // allocate a new one 

44 { 

45 currentBuffer_.reset(new LargeBuffer); // Rarely happens 
46 

47 currentBuffer_->append(logline, len): 

48 cond_.notifyt}: 

49 } 

5s0 } 


muduo/base/AsyncLogging.cc 


前 闹 在 生成 一 条 日 志 消 明 的 时 候 会 调用 AsyncLogging::append()。 在 
这 个 函数 中 ， 如 果 当 前 缓冲 (currentBuffer_ ) 剩余 的 空间 足够 大 
(CL31) ， 则 会 下 接 把 日 志 消 居 找 贝 (人 妃 加 〉 到 当前 缓冲 中 (L33) ， 
这 是 最 汕 见 的 情况 。 这 里 拷贝 一 条 日 志 消 晨 并 不 会 市 来 多 大 开销 。 前 后 
内 代码 的 其 余部 分 都 没有 找 贝 ， 而 是 简单 的 指针 交换 。 

人 奋 则 ， 襄 明 当 前 缓冲 已 经 写 满 ， 就 把 它 迹 入 移入 ) 


buffers_(L37〉， 并 试图 把 预备 好 的 男 一 块 绥 冲 (nextBuffer ) 移 用 
(move) 为 当前 缕 冲 (L39~L42) ， 然 后 妃 加 日 志 消 恩 并 通知 ( 唤 
醒 ) 后 端 开始 写 入 日 志 数 据 (L47~~L48) 。 以 上 两 种 情况 在 临界 区 之 

内 都 没有 耗 时 的 操作 ， 运 行 时 间 为 剃 数 。 
如 果 前 闹 写 入 速度 太 快 ， 一 下 子 把 两 块 缓冲 都 用 完了 ， 那 么 只 好 分 
配 一 块 新 的 buffer， 作 为 当前 缓冲 〈L43 一 46) ， 这 是 极 少 友 生 的 情 


7 
再 来 看 接收 方 ( 后 端 ) 实现 ， 这 里 只 给 出 了 最 关键 的 临界 区 内 的 代 
人 码 〈L59~L72) ， 其 他 琐事 请 见 源 文件 。 


muduo/base/AsyncLogging.cc 
51 Vold AsyncLogging: :threadFunc(C) 


52 攻 f 

53 BufferPtr newBufferl(new LargeBuffer): 

54 BufferPtr newBuffer2(new LargeBuffery: 

55 BufferVector buffersToWrite; // reserve() 从 略 

56 while (runnine_) 

57 { 

58 1/ swap out what need to be written, keep CS short 

59 { 

60 muduo: :MutexLockGuard lock(mutex_): 

561 if (buffers_.empty()) // unusual usage! 

62 { 

63 cond_ .waitForSeconds(flushInterval_); 

64 } 

65 buffers_.push_back(currentBuffer_.release()): // 移动 ， 而 非 复制 
66 currentBuffer_ = boost: :ptr_container: :move(newBuffer1); // 移动 ， 而 非 复制 
67 buffersToWrite.swap(buffers_): // 内 部 指针 交换 ， 而 非 复 制 

68 if (IlInextBuffer_) 

69 { 

70 nextBuffer_ = boost::ptr_container: :move(newBuffer2); /1 移动 ， 而 非 复制 
71 

72 } 

73 A/* output buffersToWrite to file 

74 A:/ re-fill newBuffer1 and newBuffer2 

75 } 

76 /7 flush output 

Ti 和 


-上 muduo/base/AsyncLogging.cc 


首先 准备 好 两 块 空闲 的 buffer， 以 备 在 临界 区 内 交换 (L53、 
L54) 。 在 临界 区 内 ， 等 竺 条件 触发 〈L61~L64) ， 这 里 的 条 件 有 两 
个 : 其 一 是 超时 ， 其 二 是 前 疹 写 满 了 一 个 或 多 个 buffer。 注 意 这 里 是 非 
种 规 的 condition variable 用 法 ， 它 没有 使 用 while 循 环 ， 而 且 等 竺 时间 有 
当 “ 条 件 ” 满 中 时 ， 先 将 当前 绥 冲 (currentBuffer_ ) 移入 
buffers _〈L65) ， 并 立刻 将 空闲 的 newBuffer1l 移 为 当前 缓冲 (L66) 。 


注意 这 人 整 段 代码 位 于 临界 区 之 内 ， 因 此 不 会 有 任何 race condition。 接 下 

来 将 buffers 与 buffersToWrite 交 换 〈L67) ， 后 面 的 代码 可 以 在 临界 区 之 
外 安全 地 访问 buffersToWrite， 将 其 中 的 日 志 数 据 与 入 文件 (L73)〉 。 临 

界 区 里 最 后 于 的 一 件 事 情 是 用 newBuffer2 葵 换 nextBuffer 〈 世 68 一 

L71) ， 这 样 前 端 始终 有 一 个 预备 buffer 可 供 调配 。nextBuffer_ 可 以 减少 

前 问 临 界 区 分 配 内 存 的 概率 ， 缩 短 表 问 临 界 区 长 度 。 注 意 到 后 端 临 界 区 
内 也 没有 耗 时 的 操作 ， 运 行 时 间 为 彰 数 。 

L74 会 将 buffersToWrite 内 的 buffer 重 新 填充 newBuffer1 和 
newBuffer2， 这 样 下 一 次 执行 的 时 候 还 有 两 个 空闲 buffer 可 用 于 符 换 前 
疹 的 当前 绥 锌 和 预备 缓冲 。 最 后 ， 这 四 个 绥 剖 在 程序 局 动 的 时 候 会 全 部 
填充 为 0， 这 样 可 以 避免 程序 热 吴 时 page fault 引 发 性 能 不 稳定 。 


运行 图 示 


以 下 再 用 图 表 展 示 前 病 和 后 端的 具体 交互 情况 。 一 开始 先 分 配 好 四 
个 缓冲 区 A、B、C、D， 前 问 和 后 问 各 持 有 其 中 两 个 。 前 端 和 后 新 各 有 
一 个 缓冲 区 数组 ， 初 始 时 都 是 空 的 。 

第 一 种 情况 是 前 病 写 日 志 的 频 度 个 局 ， 后 闹 3 秒 超时 后 将 “当前 绥 冲 
currentBuffer ” 写 入 文件 ， 见 图 5-1 (图 中 变量 名 为 简写 ， 下 同 ) 。 





CUIT 三 乌 curr = A (SO0%) CUrr = 人 CU = 七 
next=B next=B next=B next=B 
butiters 三 | | bufters = | | buiiers = [A, | buiters = | |] 
fronterid 
0 2.9 3 3 十 
newl=C new = null newl] = null newl= 训 
newz 二 用 newz = D new2=D new2 = D 
butiters 三 | | bufters =| | buiters = [A, | butiters 三 | | 
backend 
0 3 3 十 write done 
图 5-1 


在 第 2.9 秒 的 时 候 ，currentBuffer 使 用 了 80%， 在 第 3 秒 的 时 候 后 端 
线程 醒 过 来 ， 先 把 currentBuffer 送 入 buffers _〈L65) ， 再 把 newBuffer1 
移 用 为 currentBuffer 〈L66) 。 随 后 第 3+ 秒 ， 交 换 buffers 和 
buffersToWrite (L67) ， 离 开 临 界 区 ， 后 痕 开 始 将 buffer A 写 入 文件 。 
写 完 (write done) 之 后 再 把 newBuffer1 重 新 填 上 ， 等 待 下 一 次 
cond_ .waitForSecondsO 返 回 。 

后 面 在 画图 时 将 有 所 人 简化， 不 再 夯 出 buffers_ 和 buffersToWrite 交 换 


的 步 又 。 


第 二 种 情况 ， 在 3 秒 超时 之 前 已 经 与 满 了 当前 缓冲 ， 于 是 唤醒 后 姗 
线程 开始 写 入 文件 ， 见 图 5-2。 








Cur 三 点 CutT = A (SQWw) cur=B cuIrT= 心 
next=B next=B next = null next = 用 
bufters = | | buffers = | | buffers = [A, | buffers = | | , 
frontend 
0 ] .5 1.% 1 .8 十 
newl=(C newl = null newl=B 
new2=D new2 = null new2 = 入 
buftters = | | buiters = [A, 日, | buffers =| | 
backend 
0 1 .8 十 write done 
图 5-2 


在 第 1.5 秒 的 时 候 ，currentBuffer 使 用 了 80%; 第 1.8 秒 ， 
currentBuffer 写 满 ， 于 是 将 当前 绥 剖 送 入 buffers (〈L37) ， 并 将 
nextBuffer 移 用 为 当前 缓冲 〈L39~L42) ， 然 后 唤醒 后 端 线程 开始 写 
入 。 当 后 端 线程 唤醒 之 后 《第 1.8+ 秒 ) ， 先 将 currentBuffer 送 入 
buffers 〈L65) ， 册 把 newBuffer1l 移 用 为 currentBuffer 〈L66) ， 然 后 
交换 buffers 和 buffersToWrite (L67) ， 了 最 后 用 newBnuffer2 蔡 的 
nextBuffer 〈L68~L71)〉， 即 保证 前 端 有 两 个 空 缓冲 可 用 。 离 开 临 界 区 
之 后 ， 将 buffersToWrite 中 的 绥 冲 区 A 和 B 写 入 文件 ， 写 完 之 后 重 狐 填充 
newBuffer1 和 newBuffer2， 完 成 一 次 循环 。 


上 面 这 两 种 情况 都 是 最 间 见 的 ， 再 来 看 一 看 前 闯 需 要 分 配 新 buffer 
的 两 种 情况 。 

第 三 种 情况 ， 前 站 在 短 时 间 内 窗 集 写 入 日 志 消 轧 ， 用 完了 两 个 绥 
冲 ， 并 重新 分 配 了 一 其 新 的 缓冲 ， 见 图 5-3。 








CuIT 三 点 cur = A (80%) curr= B (90%) cutr=E cur=C 
next 三 B next 三 B next = null next = null next = D 
buffers =| |] buffers =|[] buffers = [A,] buffers=[A,B,] buffers=|[] 
frontend 
0 ] .5 ] .8 ] . 乌 
newl = 人 new] = null newl =B 
new2 = DD new2 = null new2 二 入 
buffers = | | buffers = [A,B,E,|] buffers=|| 
backend 
0 | .号 十 write done 
图 5-3 


在 第 1.8 秒 的 时 候 ， 绥 冲 A 已 经 写 满 ， 绥 冲 B 也 接近 写 满 ， 并 且 已 经 


notifyO 了 后 闯 线 程 ， 但 是 出 于 种 种 原因 ， 后 疾 线 程 并 没有 立刻 开始 工 
作 。 到 了 第 1.9 秒 ， 绥 冲 B 也 已 经 与 满 ， 前 端 线程 新 分 配 了 绥 训 E。 到 了 
第 1.8+ 秒 ， 后 妆 线 程 终 于 获得 控制 权 ， 将 C、DD 两 块 缓冲 交 给 前 痢 ， 并 
开始 将 A、B、E 依 次 写 入 文件 。 一 段 时 间 之 后 ， 完 成 写 入 操作 ， 用 和 A、 
B 重 新 填充 那 两 块 空 闲 缓冲 。 注 意 这 里 有 意 用 A 和 B 来 填充 
newBuffer1/2， 而 释放 了 缓冲 E， 这 是 因为 使 用 A 和 B 不 会 造成 page 
fault 。 

思考 题 : 阅读 代码 并 回答 ， 绥 冲 E 是 何 时 在 哪个 线程 释放 的 ? 

第 四 种 情况 ， 文 件 号 入 速度 较 悍 ， 导 致 前 山 耗 太 了 两 个 缓冲 ， 并 分 
配 了 新 缓冲， 见 图 5-4。 





cuUIT = 各 CUT = A (809) curr=B CUIT = cur=D cutr=E cur=B 
next=B next = B next = null next= DD next = Tiull next = hull next 三 和 
buffers 三 [ ] buffers=[] buffers=[A.|] buffers=[|] buffers=[C,] buffers = |[C, D., |] buffers=| | 
0 1 .5 | .8 | ,8 十 2.0 as {trontend 
newl]=C mewl = nll newl=B newl 三 ml 
new2 = D new2 = null new2 二 点 new2 = null 
butfers = | ] buffers = [A, B, | buffers = |[] bufters=[C, D,E, | 
一 
0 1 .8+ write done write done+t 
图 5-4 


前 1.8+ 秒 的 场景 和 前 面 “第 二 种 情况 ”相同 ， 前 问 写 满 了 一 个 绥 冲 ， 
唤醒 后 端 线程 开始 与 入 文件 。 之 后 ， 后 痪 化 了 较 长 时 间 〈 大 尘 秒 ) 才 将 
数据 与 冠 。 这 期 间 前 病 又 用 完了 两 个 缓冲 ， 并 分 配 了 一 个 新 的 缓冲 ， 这 
期 则 前 病 的 notify0 已 经 丢失 。 妆 后 闹 写 完 (write done) 后 ， 友 现 
buffers_ 不 为 空 (L61)〉， 立 刻 进 入 下 一 循环 。 即 僚 换 前 闹 的 两 个 绥 冲 ， 
并 开始 一 次 与 入 C、D、E。 假 定 前 妆 在 此 期 间 产 生 的 日 专 较 少 ， 请 读 着 
补 全 后 续 的 情况 。 


改进 措施 


表面 我 们 一 共 准 备 了 四 其 缓冲， 应 该 足以 应 付 日 钊 的 需求 。 如 采 需 
要 进一步 增加 buffer 数 目 ， 可 以 改 用 下 和 面 的 数据 结构 。 


BufferPtr currentBuffer_: J// 当前 绥 冲 
BuffervVector emptyBuffers_: // 空 风 线 冲 
BufferVector fullBuffers_: // 已 写 满 的 缓冲 


初始 化 时 在 emptyBuffers 中 放 入 足够 多 空闲 buffer， 这 样 前 端 几乎 
不 会 遇 到 需要 在 临界 区 内 新 分 配 buffer 的 情况 ， 这 是 一 种 空间 换 时间 的 
做 法 。 为 了 避免 短 时 突 发 写 大 量 日 志 造 成 新 分 配 的 buffer 占 用 过 多 内 


存 ， 后 闪 代 码 应 该 保证 emptyBuffers _ 和 fullBuffers_ 的 长 度 之 和 不 超过 某 
个 定 值 。buffer 在 前 咒 和 后 山 之 间 流 动 ， 形 成 一 个 循环 ， 如 图 5-5 所 示 。 




















fullBuffers put CUrrent pop enmptyBuffters 
queue Buffer stack 
} 
~ drain | | push 一 
SR backend 和 
| wrlite file 
| | 
图 5-5 


以 上 改进 留 作 练习 。 
如 末日 志 消 居 堆 积 怎么 办 


万 一 前 端 陷入 死 循 环 ， 拼 命 发 送 日 志 消 息 ， 超 过 后 端的 处 理 〈 输 
出 ) 能 力 ， 会 叶 致 什么 后 霖 ? 对 于 同步 日 志 来 说 ， 这 不 是 问题 ， 因 为 阻 
替 IO 目 然 束 限制 了 前 端的 写 入 速度 ， ng 
用 。 但 是 对 于 异步 日 志 来 说 ， 这 束 是 典型 的 生产 速度 高 于 消费 速度 问 
题 ， 会 造成 数据 在 内 存 中 堆积 ， 严 重 时 引发 性 和 问题 〈 可 用 内 存 不 足 ) 
或 程序 朋 沉 “分 配 内 存 失 败 〉。 

muduo 日 志 库 处 理 日 志 堆 积 的 方法 很 简单 : 直接 丢掉 多 余 的 日 志 
buffer， 以 腾 出 内 存 ， 见 muduo/base/AsyncLogging.cc 第 87 一 96 行 代码 。 这 
样 可 以 防止 日 志 库 本 映 引 起 程序 故障 ， 是 一 种 目 我 保护 措施 。 将 来 或 许 
可 以 加 上 网 络 报警 功能 ， 通 知人 工 介 入 ， 以 尽快 修复 故障 。 


5.4 其 他 方案 


当然 在 前 病 和 后 妆 之 间 高 效 传递 日 志 消 息 的 办 法 不 止 这 一 种 ， 比 方 
说 使 用 和 营 规 的 muduo::BlockingQueue<std::string> 或 
:BoundedBlockingQueue<std: :string> 在 及 后 闹 之 加 传递 日 志 消 
恩 ， 其 中 每 个 std: :String 丰 一 条 消 恩 。 这 种 做 法 每 条 日 志 消 恩 都 要 分 配 内 
人 存 ， 特 别 是 在 前 端 线程 分 配 的 内 存 要 由 后 病 线 程 释放 ， 因 此 对 malloc 的 
实现 要 求 较 高 ， 需 要 针对 多 线程 特别 优化 。 男 外 ， 如 果 用 这 种 方案 ， 那 
么 需要 修改 LogStream 的 Buffer， 使 之 下 接 将 日 志 写 到 std::string 中 ， 可 节 


洽 一 次 内 存 捞 贝 。 

相 比 前 面 展示 的 直接 揽 贝 日 志 消 息 的 做 法 ， 这 个 传递 指针 的 方 守 似 
乎 会 更 高 效 ， 但 是 据 我 测试 3， 直接 找 贝 日 总 数据 的 做 法 比 传递 指针 局 3 
音 〈《 在 每 条 日 志 消 息 不 大 于 4kB 的 时 候 ) ， 估 计 是 内 存 分 配 的 开销 所 
臻 。 因 此 muduo 日 志 库 只 提供 了 8$5.3 介 绍 的 这 一 种 异步 日 志 机 制 。 这 再 
次 说 明 " 性 能 "不 能 于 感觉 次 了 疆 ， 一 定 要 有 上 典型 场景 的 测试 数据 作为 支 


撑 。 

muduo 现 在 的 异步 日 志 实 现 用 了 一 个 全 局 锁 。 尽 党 临界 区 很 小 ， 但 
是 如 果 线 程 数目 较 多 ， 锁 争 用 (lock contention) 也 可 能 影响 性 能 。 一 种 
解决 办 法 是 像 Java 的 ConcurrentHashMap 那 样 用 多 个 棚子 (bucket) ， 有 前 
疹 写 日 志 的 时 候 再 按 线程 id 哈 布 到 不 同 的 bucket 中 ， 以 减少 contention 。 
这 种 方案 的 后 问 实 现 较 为 复 人 茶 ， 有 兴趣 的 恋 者 可 以 试 一 试 。 

为 了 人 简化 实现 ， 目 前 muduo 日 志 库 只 允许 指定 日 志文 件 的 名 字 ， 不 
人 允许 指定 其 路 径 。 日 志 库 会 把 日 忘 文件 写 到 当前 路 径 ， 因 此 可 以 在 局 动 
脚本 〈shel 脚 本 ) 里 改变 当前 路 径 ， 以 达到 相同 的 目的 。 

Linux 默 认 会 把 core dump 写 到 当前 目录 ， 而 且 文 件 名 是 国定 的 
core。 为 了 不 让 新 的 core dump 文 件 冲 挥 旧 的 ， 我 们 可 以 通过 sysctl 设 置 
kernel.core_pattern 参 数 〈 也 可 以 修改 /proc/syskerneycore pattern ) ， 让 每 
次 core dump 都 产生 不 同 的 文件 。 例 如 设 为 9%oe.%6t.%p.%u.core， 其 中 各 个 
参数 的 意义 见 man 5 core。 男 外 也 可 以 使 用 Apport 来 收集 有 用 的 诊断 信 
已 ， 见 https:/Awiki.ubuntu.com/Apport 。 


广 笠 
1 http://en.wikipedia.org/wiki/Write-ahead logging 不 同 的 数据 库 有 不 同 的 称呼 ， 如 binary 
log、redo log 等 。 
http://en.wikipedlia.org/WwikI/Journaling file System 
http://en.wikipedla.org/wiki/Traceability 
http://highscalability.com/log-everything-all-time 
第 2、3 两 条 或 许 不 适用 于 分 布 式 存储 系统 的 bulk data， 但 适用 于 meta data。 
可 用 89.4 的 办 法 生成 。 
muduo/base/Logging.{h,cc} 
muduo/base/Loghile.{h,cc} 
muduo/base/AsyncLogging.{h,cc} 
10 printf(fmt, ..) 风 格 在 C++ 中 也 可 以 做 到 类 型 安全 ， 但 是 在 C++11 引 入 variadic template 之 
前 很 费劲 。 因 为 C++ 不 允许 把 non-POD 对 象 通过 可 变 参 数 〈…) 传 入 图 数 。Pantheios 日 志 库 用 的 
是 重 载 函数 模板 的 办 法 (http:;//www.pantheios.org ) 。 
http://www.drdobbs.com/cpp/201804215 
muduo/base/LogStream.{h,cc} 
http://logging.apache.org/log4]/1.2/manual.html 
http://logback.qos.ch/manual/index.html 
muduo 默 认输 出 INFO 级 别 的 日 志 ， 可 以 通过 环境 变量 控制 输出 DEBUG 或 TRACE 级 别 


IO I [NT IO IJII 和 IC IN 


rasoaieas 
JW II 户 ID IN | 一 





= 二 

16 ”例如 在 非 党 忙 时 段 把 压缩 后 的 日 志文 件 拷贝 到 茶 个 NFS 位 置 ， 以 便 集中 保存 和 分 析 。 

17 ”可 以 用 gdb 的 find 命 令 。 用 strings(1) 命 令 也 能 从 core 文 件 里 找到 不 少 有 用 的 信息 。 

18 muduo/base/tests/TImestamp unittest.cc 

0 的 线程 在 某 一 时 刻 之 后 突然 不 再 log 任 何 消 奶 ， 往 往 意 味 看 发 生 了 死 锁 或 
( 伪 死 ) 。 

20 ”对 于 Base64 编 码 的 消 忠 id， 可 以 将 其 中 的 +' 人 替换 为 -"， 见 RFC 4648 第 5 节 。 

21 ”例如 不 同 的 日 志 级 列 或 不 同 的 组 件 写 到 不 同 的 文件 。 

es 比方 说 一 秒 处 理 两 三 万 条 消息 ， 每 条 消息 与 三 条 日 志 : 从 哪里 收 到 、 计 算 结 果 如 何 、 

哪里 。 

23 muduo/base/tests/Logging test.cc 

24 ”日志 文件 是 顺序 写 入 ， 是 对 磁盘 最 友好 的 一 种 负载 ， 对 IOPS 要 求 不 局 。 

25 ” 见 muduo/base/Logging.cc 中 的 Logger::Impl::formatTime() 函 数 。 

26 ” 见 muduo/base/Logging.cc 中 的 class T 和 operator<<(LogStream& s, TV)。 

27 Google C++ 日 志 库 的 默认 多 线程 实现 即 如 此 。 

28 http://en.wikipedia.org/WwIki/Multiple buffering 

29 ”代码 见 recipes/logging/AsyncLogging *。 


第 2 部 分 
muduo 了 网络 库 


第 6 音 ”muduo 网 络 库 催 介 


6.1 由 来 


2010 年 3 月 我 写 了 一 篇 《学 之 者 生 ， 用 之 者 死 ACE 历史 与 简 
评 》:， 其 中 提 到 “我 心目 中 理想 的 网 络 库 ”的 样子 : 


线程 安全 ， 原 生 文 持 多 核 多 线程 。 
:不 考虑 可 移植 性 ， 不 跨 平 台 ， 只 文 持 Linux， 不 文 持 Windows。 
主要 文 持 x86-64， 兼 顾 IA32。 《实际 上 muduo 也 可 以 运行 在 ARM 
。 ) 

:不 支持 UDP， 只 支持 TCP。 

:不 支持 IPV6， 只 支持 IPv4。 
ce did 只 考虑 局 域 网 。 (实际 上 muduo 也 可 以 用 在 广 
或 网 上 。 ) 

:不 考虑 公 网 ， 只 考虑 内 网 。 不 为 安全 性 做 特别 的 增强 。 

:只 支持 一 种 使 用 模式 : 非 阻 窒 IO 十 one event loop per thread， 不 文 
持 阻 塞 IO。 

“API 人 简单 易 用 ， 只 雄 串 上 其 体 类 和 标准 库 里 的 类。API 个 使 用 non- 
trivial templates， 也 不 使 用 虑 函数 。 

:只 满足 家 用 需求 的 90% ， 不 面面俱到 ， 必 要 的 时 候 以 app 来 适应 
lib。 

:只 做 library， 不 做 成 framework。 

争取 全 部 代码 在 5000 行 以 内 【不 舍 测 试 )。 

:在 不 增加 复杂 上 度 的 前 所 下 可 以 支持 FreeBSD/Darwin， 方 便 将 来 用 
Mac 作 为 开发 用 机 ， 但 不 为 它 做 性 能 优化 。 也 束 是 说 ，IO multiplexing 使 
用 poll(2) 和 epoll(4)。 

:以 上 条 件 都 满足 时 ， 可 以 考虑 挫 配 Google Protocol Buffers RPC。 


在 想 清 楚 这 些 目标 之 后 ， 我 开始 第 三 次 和 演 试 编号 目 己 的 C++ 网 络 
库 。 与 前 两 次 不 同 ， 这 次 我 一 开始 束 想 好 了 库 的 名 字 ， 叫 muduo 〈 木 
铎 ) :， 并 在 Google code 上 创建 了 项 目 : http://code.google.com/p/muduo/ 
。muduo 以 git 为 版 本 管理 工具 ， 托 管 于 https:Wgithub.com/chenshuo/muduo 
。 muduo 的 主体 内 容 在 2010 年 5 月 展 已 经 基本 完成 ，8 月 旗 发 布 0.1.0 氢 ， 
现在 〈2012 年 11 月 ) 的 最 新 版 本 是 0.8.2。 


为 什么 需要 网 络 库 


使 用 Sockets API 进 行 网 络 编程 是 很 容易 上 手 的 一 项 拉 术 ， 化 半天 时 
站 读 完 一 两 篇 网 上 教程 ， 相 信和 不 难 写 出 能 相互 连通 的 网 络 程 序 。 例 如 下 
面 这 个 网 络 服务 前 和 客户 茵 程序 ， 已 用 Python 实现 了 一 曾 音 
的 “Hello” 协 议 ， 客 户 站 友 来 姓名 ， 服 务 冰 返回 问候 语 和 服务 厚 的 当前 时 
辣 。 


hello-server.py 
#1 /usr/bin/python 


import socket, time 


serversocket .plndt(  ，88887 ) 


1 
2 
3 
二 
5 serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
6 
7 serversocket.listen(Ss) 

8 

9 


while True: 


10 (clientsocket, address) = serversocket.accept() # 等 符 客 己 端 连接 

11 data = clientsocket.recv(4896) # 接收 姓 和 名 

12 datetime = time.asctime()+ An 

13 clientsocket.send('Hello ”+ data) # 发 回 问候 

14 clientsocket,send('My time is ' + datetime) # 发 送 服务 器 当前 时 间 
15 clientsocket.close() # 关闭 连接 


hello-server.py 


hello-client.py 
20 # 省 略 import 等 


21 sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) z 
22 sock.connect((sys.argv[1]，8888))  # 服务 从 地 址 由 命令 行 指定 


23 sock.send(os.getlogin() + '\n’) # 发 送 姓 名 
24 Message = SOCK. Fecv(d46961 # 接收 响应 
25 print message # 打印 千林 
26 sock.close() # 关闭 连接 


hello-client.py 


上 面 两 个 程序 使 用 了 全 部 主要 的 SocketsAPI， 包 括 socket(2)、 
bind(2)、listen(2)、accept(2)、connect(2)、Trecv(2)、send(2)、 ee 
gethostbyname(3): 等 ， 似 乎 网 络 编程 一 点 也 不 难 咏 。 在 同一 全 机 需 
行 上 和 面 的 服务 病 和 客户 问 ， 结 来 不 出 意料 : 
$ ,A/hello-client.py localhost 
Hello schen 
My time is Sun May 13 12:56:44 2012 


但 是 连接 同一 局 域 网 的 为 外 一 台 服 务 右 时 ， 收 到 的 数据 是 不 完整 
的 。 钳 在 哪里 ? 


$ ./hello-client.py atom 
Hello schen 

出 现 这 种 情况 的 原因 是 高 级 语言 (Java、Python 等 ) 的 Sockets 库 并 
没有 对 Sockets API 提 供 更 珊 层 的 封闭， 直接 用 它 编写 网 络 程 序 很 容易 挥 
到 陷阱 里 ， 因 此 我 们 需要 一 个 好 的 网 络 库 来 降低 开发 难度 。 网 络 库 的 价 
值 还 在 于 能 方便 地 处 理 并 发 连接 (86.6) 。 


6.2 ”安装 


源 文 件 tar 包 的 下 载 地 址 : 
http://code.google.com/p/muduo/downloads/list ， 此 处 以 
muduo-0.8.2-beta.tar.gz 为 例 。 

muduo 使 用 了 Linux 较 新 的 系统 调用 (主要 是 timerfd 和 eventfd) ， 要 
求 Linux 的 内 核 版 本 大 于 2.6.28。 我 日 己 用 Debian 6.0 Squeeze / Ubuntu 
10.04 LTS 作 为 主要 开发 环境 (内 核 版 本 2.6.32) ， 以 g++ 4.4 为 主要 编译 
第 有 版 本 ， 在 32-bit 和 64-bit x86 系 统 都 编 详 测试 通过 。muduo 在 Fedora 13 
和 CentOS 6 上 也 能 正常 编译 运行 ， 还 有 热心 网 友 为 Arch Linux 编 写 了 
AUR 文 件 :。 

如 果 要 在 较 旧 的 Linux 2.6 内 核 ; 上 使 用 muduo， 可 以 参考 backport.diff 
来 修改 代码 。 不 过 这 些 系统 上 没有 元 分 测试 ， 仪 仪 是 编译 和 冒 烟 测 试 通 
过 。 态 外 muduo 也 可 以 运行 在 艇 入 式 系 统 中 ， 我 在 Samsung S3C2440 开 
发 板 (ARM9) 和 Raspberry Pi (ARM11) 上 成 功 运 行 了 muduo 的 多 个 示 
例 。 代 人 码 只 需 略 作 改 动 ， 请 参考 armlinux.diff 。 

muduo 玉 用 CMake: 为 build system， 安 装 方法 如 下 : 


$ sudo apt-get install cmake 
muduo 依 赖 于 Boostz， 也 很 容易 安装 : 
$ sudo apt-get install libboost-dev libboost-test-deyv 


muduo 有 三 个 非 必 需 的 依赖 库 : curl、c-ares DNS、Google 
Protobuf， 如 果 安 装 了 这 三 个 库 ，cmake 会 自动 多 编译 一 些 示 例 。 安 装 方 
法 如 下 : 
$ sudo apt-get install Lipbpcur14-openss1L-dev libc-ares-dev 
$ sudo apt-get install protobuf-compiler libprotobuf-dev 


muduo 的 编译 方法 很 简单 : 


$ tar zxf muduo-6.8.2-beta.tar.gz 
$ cd muduo/ 


$ ./build.sh -j2 Et Eu 
编译 muduo 库 和 它 自 带 的 例子 ， 生 成 的 可 执行 文件 和 静态 库 文件 
分 别 位 于 ../build/debug/{bin,1ib} 
$ .ybuild:sh install 
以 上 命令 和 将 muduo 头 文件 和 库 文件 安装 到 .. /build/debug-install/{include,1ib), 
以 便 muduo-protorpc 和 muduo-udns 等 库 使 用 
如 果 要 编 详 release 版 “以 -O02 优化)， 可 执行 : 
$ BUILD_TYPE=release ./build.sh -j2 : 
编译 muduo 库 和 和 它 自 费 的 例子 ， 生 成 的 可 执行 文件 和 和 静态 库 文件 
分 别 位 于 ../build/release/{bin,1l1ib)} 
$ BUILD_TYPE=release ./build.sh install 
以 上 命令 将 muduo 头 文件 和 和 库 文件 安 洪 到 ../build/release-install/{include,1ib}), 
以 便 muduo-protorpc 和 muduo-udns 等 库 使 用 
在 muduo 1.0 正 式 发 布 之 后 ，BUILD_ TYPE 的 默认 值 会 改 成 release。 
编译 完成 之 后 请 试 运行 其 中 的 例子 ， 比 如 bin/inspector test ， 然 后 通 
过 浏览 右 访 问 http://10.0.0.10:12345/ 或 http://10.0.0.10:12345/proc/status ， 
其 中 10.0.0.10 蔡 换 为 你 的 Linux box 的 IP。 


在 目 己 的 程序 中 使 用 muduo 


muduo 是 静态 链接 :的 C++ 程序 库 ， 使 用 muduo 库 的 时 候 ， 只 需要 议 
置 好 头 文 件 路 径 〈 例 如 ,/build/debug-instalVincltude ) 和 库 文件 路 径 《〈 例 
如 .,/build/debug-instalWlib ) 并 链接 相应 的 静态 库 文 件 〈-Imuduo_net - 
Imuduo_base) 即 可 。 下 面 这 个 示范 项 目 展示 了 如 何 使 用 CMake 和 普通 
makefile 编 详 基 于 muduo 的 程序 : 
https://github.com/chenshuo/muduo-tutorial 。 


6.3 ”目录 结构 


muduo 的 目录 结构 如 下 。 


muduo 


|-- build. sh 
|-- ChangeLog 

|-- CMakeLists. txt 

|-- License 

|-- README 

|-- muduo muduo 库 的 主体 

| “|-=- base 与 网 络 无 关 的 基础 代码 ， 位 于 ::muduo namespace， 包 括 线 程 库 
“\-- net 网 络 库 ， 位 于 ::muduo: :net namespace 

|-- poller pol1(2) 和 epol1(4) 两 种 IO multiplexing 后 问 

|-- http 一 个 简单 的 可 嵌入 的 Web 服务 器 

|-- inspect 基于 以 上 Web 服务 普 的 “ 考 探 太 ， 用 于 报 各 进程 的 状态 

\-- protorpc ”简单 实现 Google Protobuf RPC， 不 推荐 使 用 

|-- examples 丰 宦 的 示例 

\-- TODO 


muduo 的 源 代码 文件 名 与 class 名 相同 ， 


例如 ThreadPool class 的 定义 


古 muduo/base/ThreadPool.h ， 其 实现 位 于 muduo/base/ThreadPool.cc 。 


基础 库 
muduo/base 目 杂 是 一 些 基础 库 ， 部 是 用 户 可 见 的 类 ， 内 容 包 括 : 
muduo 
“\-- base 
|-- AsyncLogging.{h,cc]} 开 步 日 志 backend 
|-- Atomic.h 原子 操作 与 原子 整数 
|-- BlockingQueue.h 无 界 阻 鉴 队 列 (和 必 关 光 费 者 队列 ) 
|-- BoundedBlockingQueue.h 有 界 阻 塞 队 列 
|-- Condition.h 条 件 变 量 ， 与 Mutex.h 一 同 使 用 
|-- _ copyable.h 一 个 空 基 类 ， 用 于 标识 (tag) 值 类 型 
|-- CountDownLatch .{fh ,cc} “倒计时 门 六 ”同步 
[-- Date. {h,ce} Julian 日 期 库 【有 即 公历 ) 
|-- Exception.{h,cc} 带 stack trace 的 异 第 基 关 
|-- Logging.{h,cc} 有 可 措 配 AsyncLogging 使 用 
|-- Mutex.h 斥 如 
|-- ProcessInfo.{h,cc} 济 程 入 站 
|-- Singleton.h 线程 安全 的 singleton 
|-- StringPiece.h 从 Google 开源 代码 借用 的 字符 串 矢 数 传递 类 型 
|-- tests 测试 代码 
|-- Thread.{h,cc} 线程 对 象 
|-- ThreadLocal.h 线程 局 部 数据 
|-- ThreadLocalSingleton.h 每 小 线程 一 个 singleton 
|-- ThreadPool.{fh,cc} 简单 的 固定 大 小 线程 池 
|-- Timestamp.{h,cc} UTC 时 间 截 
|-- TimeZone.{h,cc} 时 区 与 夏令 时 
\-- Types.h 基本 类 型 的 声明 ， 所 括 muduo: :string 


网 络 核心 库 


muduo 古 基于 Reactor 模 式 的 网 络 库 ， 其 核心 是 个 事件 循环 
EventLoop， 用 于 啊 应 计时 器 和 IO 事件 。muduo 采 用 基于 对 象 《object- 
based) 而 非 面 癌 对 象 (objectoriented) 的 设计 风格 ， 其 事件 回调 接口 多 
以 boost::function 十 boost::bind 表 达 ， 用 户 在 使 用 muduo 的 时 候 不 需要 继 


厌 其 中 的 Class。 


网 络 库 核心 位 于 muduo/net 和 muduo/net/poller ， 一 


共 不 到 4300 行 代 


人 码 ， 以 下 灰 压 表示 用 尸 个 可 见 的 内 部 关 。 


|-- Acceptor .{h,cc} 

|== Buffer., {h,ce} 

|I-- Callbacks.h 

|-- channel. {th,ce)} 

|I-- CMakeLists.txt 

|--_ Connector., {h,cc} 

I-- Endian.h 

|-- EventLoop. {h,cc} 

|-- EventLoopThread.{h,cc} 

|-- EventLoopThreadPool.{h,cc} 
[I-- InetAddress.{h,cc} 

|-- Poller.{h,cc} 

I-- Bller 

|-- DefaultPoller.cc 

|-- EPollPoller.{h,cc} 
\-- PollPoller.{h,cc)} 
|-- Socket.{h,cec} 
|-- SocketsOps.{h,cc)} 
|-- TcpClient.{h,cc} 
I-- TcpConnection.{h,cc)} 
|-- TcpServer,{h,cc} 

|I-- tests 

|-- Timer.{h,cc} 

|-- TimerId.h 

=- TimerQueue.{h,cc} 


网 络 附 属 库 
网 络 库 有 一 些 附 属 模块 ， 


接受 内 ， 
缓冲 区 ， 


用 于 服务 端 接受 连接 
非 阻塞 IO 必 备 


个 Socket 连接 的 事件 分 发 


用 于 和 客 己 端 发 起 连接 
， 序 与 本 机 字 闻 序 的 转换 


节 
货 祖 
新 个 专门 用 于 EventLoop 的 线程 
muduo 默认 多 线程 IO 模型 
IP 地 址 的 简单 封装 ， 
IO multiplexing 的 基 类 接口 
IO multiplexing 的 实现 
根据 环境 变量 MUDUO_USE _POLL 选择 ， 后 端 


“eg 


卉 三 由 


由 于 好 
搂 短 
4 


主 


站 忆 训 向 


基于 pol11(2) 的 IO Et 后 端 
封装 Sockets 描述 符 ， 人 负责 关闭 连接 
封装 底层 的 Sockets API 

TCP 客户 端 

muduo 里 最 大 的 一 个 类 ， 有 366 多 行 
TCP 服务 端 

以 下 几 个 文件 与 定时 希 回 调和 相关 


它们 不 是 核心 内 容 ， 在 使 用 的 时 候 需 要 链 


接 相 应 的 库 ， 例 如 -Imuduo_http、-lmuduo_inspect 等 等 。HttpServer 和 
Inspector 骏 露出 一 个 http 界 面 ， 用 于 监控 进程 的 状态 ， 关 似 于 Java 


JMX (89.5) 。 


附属 模块 位 于 muduo/net/fhttp,inspect,protorpc} 等 处 。 


muduo 
‘== net 
| == 


| 
| 
| 
| 
| 
| 
| 
| 
-= 


60.3.1 


http ”不 打算 做 成 通用 的 HTTP 服务 器 ， 这 只 是 简陋 而 不 完整 的 HTTP 协议 实现 


|-- CMakeLists. txt 

1-- HttpContext.h 

|-- HttpRequest.h 

|-- HttpResponse.{h,cc} 
|-- HttpServer.{h,cc} 


=-- tests/HttpServer_test.cc 


inspect 

|-- CMakeLists.txt 

|-- Inspector.{h,cc} 

|-- ProcessInspector.{h,cc} 
“-— tests/lnspector_test. cc 
protorpc 

|-- CMakeLists,. txt 

|-- google-inl.h 

|-- Rpcchannel.{h,cc} 

|-- RpcCodec.{h,cc} 

|-- rpc.proto 

‘\-- RpcServer,{h,cc} 


代码 结构 


示范 如 何在 程序 中 骨 入 HTTP 服务 天 
基于 HTTP 协议 的 宪 探 器 ， 用 于 报告 进程 的 状态 


示 汇 又 露 程序 状态 ， 包 括 内 存 使 用 和 文件 搞 述 符 
简单 实现 Google Protobuf RPC 


muduo 的 头 文件 明确 分 为 客 己 可见 和 客户 不 可 见 两 类 。 以 下 是 安 痛 
之 后 其 圳 的 头 文 件 和 库 文 件 。 对 于 使 用 muduo 库 而 言 ， 内 需要 测 握 5 个 
关键 类 : Buffer、EventLoop、TcpConnection、TcpClient、TcpServer。 


|-- include 水 文人 性 
| \-- muduo 
] |-- base 基础 库 ， 同 前 ， 略 
] \-- net 网 络 核心 库 
| |-- Buffer .h 
| I-- Callbacks.h 
| |-- Channel.h 
| I-- Endian.h 
| |-- EventLoop.h 
| |-- EventLoopThread.h 
| |-- InetAddress.h 
| |-- TcpClient.h 
| |-- TcpConnection.h 
| |-- TcpServer.h 
| I-- TimerId.h 
| -- http 以 下 为 网 络 附属 库 的 头 文件 
| | |-- HttpRequest.h 
| | |-- HttpResponse.h 
| | \-- HttpServer.h 
| |-- inspect 
| | “|-- Inspector ,h 
| ‘\-- ProcessInspector .h 
| \-- protorpc 
| |-- RpcChannel.h 
| |-- RpcCodec.h 
| \-- RpcServer .h 
\-- 1ib 能 态 库 文件 
|I-- libmuduo_base.a, libmuduo_net.a 
|-- libmuduo_http.a, libmuduo_inspect.a 
\-- libmuduo_protorpc.a 


图 6-1 和 是 muduo 的 网 络 核心 库 的 头 文 件 包含 关系 ， 用 户 可 见 的 为 日 
撒 ， 用 户 不 可 见 的 为 区 砌 。 
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图 6-1 


muduo 头 文件 中 使 用 了 前 同 瑞明 (forward declaration〉， 大 大 人 简化 
了 头 文件 乙 则 的 依 顿 天 系 。 例 如 
Acceptorh 、 ChanneLh 、 Connectorh 、TcpConnection.h 都 前 向 声明 了 
EventLoop class， 从 而 避免 包含 EventLoop.h 。 画 外 ，TcpClient.h 前 回声 明 
了 Connector class， 从 而 避免 将 内 部 类 和 双 露 给 用 户 ， 关 似 的 做 法 还 有 
TcpServer.h 用 到 的 Acceptor 和 EventLoopThreadPool、EventLoop.h 用 到 的 
Poller 和 TimerQueue、TcpConnection.h 用 到 的 Channel 和 Socket 等 等 。 

这 里 徐 单 介绍 各 个 class 的 作用 ， 详 细 的 介绍 参见 后 文 。 


公开 接口 


Buffer 仿 Netty ChannelBuffer 的 buffer class， 数 据 的 谈 写 通过 buffer 
进行 。 用 户 代 码 不 需要 调用 read(2)/write(2)， 只 需要 处 理 收 到 的 数据 和 
八 备 好 要 友 运 的 数据 〈87.4) 。 

“InetAddress 封 装 IPv4 地 址 (end point) ， 注 意 ， 它 不 能 解析 域名 ， 
只 认 耳 地址。 因为 直接 用 gethostbyname(3) 解 析 域 名 会 阻塞 IO 线程 。 

EventLoop 事 件 循 环 〈 反 应 需 Reactor) ， 每 个 线程 只 能 有 一 个 
EventLoop 实 体 ， 它 负 贡 IO 和 定时 器 事件 的 分 派 。 它 用 eventfd(2) 来 异步 
唤醒 ， 这 有 别 于 传统 的 用 一 对 pipe(2) 的 办 法 。 它 用 TimerQueue 作 为 计时 






| Buffer.h 





JInetAddress.h 


侨 官 理 ， 用 Poller 作 为 IO multiplexing。 
EventLoopThread 局 动 一 个 线程 ， 在 其 中 运行 EventLoop::loop()。 
TcpConnection 整 个 网 络 库 的 核心 ， 封 装 一 次 TCP 连 授 ， 注 意 它 不 
能 及 起 连接 。 
TcpClient 用 于 编写 网 络 客 亡 闫 ， 能 及 起 连接 ， 并 且 有 重 试 功能 。 
TcpServer 用 于 编写 网 络 服务 硕 ， 接 受 客户 的 连接 。 


在 这 些 类 中 ，TcpConnection 的 生命 期 依靠 shared_ptr 管 理 〈 即 用 户 
和 库 共 同 控制 ) 。Buffer 的 生命 期 由 TcpConnection 控 制 。 其 余 类 的 生命 
期 由 用 户 控制 。Buffer 和 InetAddress 具 有 值 语 义 ， 可 以 拷贝 ;其 他 class 
者 是 对 象 语义 ， 不 可 以 找 贝 。 


内 部 实现 


:Channel 是 selectable IO channel， 负 责 注 册 与 啊 应 IO 事件 ， 注 意 它 
不 拥有 file descriptor。 它 是 Acceptor、Connector、EventLoop、 
TimerQueue、TcpConnection 的 成 员 ， 生 命 期 由 后 者 控制 。 

:Socket 是 一 个 RAIIhandle， 封 荫 一 个 filedescriptor， 并 在 析 构 时 关闭 
fd。 它 是 Acceptor、TcpConnection 的 成 员 ， 生 命 期 由 后 者 控制 。 
EventLoop、TimerQueue 也 拥有 fd， 但 是 不 封装 为 Socket class。 

“SocketsOps 封 疙 各 种 Sockets 系 统 调用 。 

Poller 是 PollPoller 和 EPollPoller 的 基 类 ， 采 用 “ 电 平 触 友 ”的 语意 。 
它 是 EventLoop 的 成 员 ， 生 命 期 由 后 者 控制 。 

:PollPoller 和 EPollPoller 封 荫 poll(2) 和 epoll(4) 两 种 IO multiplexing 后 
闪 。pol 的 存在 价值 是 便于 调试 ， 因 为 poll(2) 调 用 是 上 下 文 无 关 的 ， 用 
strace(]) 很 容 多 知道 库 的 行为 是 合 正 确 。 

:Connector 用 于 发 起 TCP 连 接 ， 它 是 TcpClient 的 成 员 ， 生 命 期 由 后 


者 控制 。 
:Acceptor 用 于 接受 TCP 连 接 ， 它 是 TcpServer 的 成 员 ， 生 命 期 由 后 者 
控制 O 〇 


“TimerQueue 用 timerfd 实 现 定时 ， 这 有 别 于 传统 的 设置 
poll/epoll_wait 的 等 每 时 长 的 办 法 。TimerQueue 用 std::map 来 官 理 Timer,， 
利用 操作 的 复杂 上 度 是 DOd4ogN)，N 为 定时 娠 数目 。 它 是 EventLoop 的 成 
员 ， 生 命 期 由 后 者 控制 。 

EventLoopThreadPool 用 于 创建 IO 线程 池 ， 用 于 把 TcpConnection 分 
派 到 某 个 EventLoop 线 程 上 。 它 是 TcpServer 的 成 员 ， 生 命 期 由 后 者 控 
pa 


图 6-2 是 muduo 的 简化 类 图 ，Buffer 是 TcpConnection 的 成 员 。 
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6.3.2 ”例子 


muduo 附 窜 了 十 几 个 示例 程序 ， 编 译 出 来 有 近 白 个 可 执行 文件 。 这 
些 例子 位 于 examples 目录 ， 其 中 包括 从 Boost.Asio、Java Netty、Python 
Twisted 等 处 移 桓 过 来 的 例 千 。 这 些 例子 基本 和 缆 关 了 第 见 的 服务 端 网 络 
编程 功能 点 ， 从 这 些 例子 可 以 充分 学 习 非 阻 堵 网 络 编程 。 


examples 


从 Boost.Asio 移植 的 例子 


|-- asio 

| |-- chat 多 人 聊天 的 服务 市 和 客户 端 ， 示 范 打包 和 拆 包 (codece) 
| ==- tutorial 一 系列 timers 

|-- cdns 基于 c-ares 的 异步 DNS 解析 

|-- curl 基于 curl 的 异步 HTTP 客 尸 端 
|-- filetransfer ”简单 的 文件 传输 ， 示 范 完整 发 送 TCP 数据 
|-- hub 一 个 简单 的 pub/sub/hub 服务 ， 演 示 应 用 级 的 广播 
|-- idleconnection 足 抒 空闲 连接 

|-- maxconnection 控制 最 大 连接 数 

|-- multiplexer 1:n 捉 并 转换 服务 

[|-- netty 从 JBoss Netty 移植 的 例子 

| |-- discard 可 用 于 测试 币 宽 ， 服 务 副 可 多 线程 运行 
| |-=-= echo 可 用 于 测试 带宽 ， 服 务 品 可 多 线程 运行 
| \-- uptime 带 自动 重 连 的 TCP 长 过 接客 尸 端 

|-- pingpong pingpong 协议 ， 用 于 测试 消息 吞吐 量 

|-- protobuf Google Protobuf 的 网 络 传输 示例 

| |-- codec 自动 反射 消息 类 型 的 传输 方案 

| |-- rpc RPC 示例 ， 实 现 Sudoku 服务 

| \-- rpcbench RPC 性 能 测试 示例 

|-- roundtrip 测试 两 全 机 和顺 的 网 络 延 时 与 时 间 兰 

|-- shorturl 简单 的 短 址 服务 

|-- simple 5 个 简单 网 络 协议 的 实现 

| 1-- allinone 在 一 个 程序 里 同时 实现 下 面 5 个 协议 

| |-- chargen RFC 864， 可 测试 玫 视 

| ”|-- chargenclient chargen 的 客户 端 

| |-- daytime RFC 867 

|-- discard RFC 863 

|-- echo RFC 862 

| |-- time RFC 868 

| \-- timeclient time 协议 的 客户 里 

|-- socks4a Socks4a 代理 服务 带 ， 示范 动态 创建 TcpClient 
|=- sudoku 数 独 求解 器 ， 示 范 muduo 的 多 线程 模型 
|-- twisted 从 Python Twisted 移植 的 例子 

| \-- finger fingerel ~ 87 

\-- zeromaq 从 zeroMQ 移植 的 性 能 【 消 轧 延 训 ) 测试 


另外 还 有 几 个 基于 muduo 的 示例 项 目 ， 由 于 License 等 原因 疫 有 了 放 到 
muduo 有 发行 版 中 ， 可 以 单独 下 载 。 


基于 UDNS 的 异步 DNS 解 


目 动 官 


http://github.com/chenshuo/muduo-udns : 
http://github.com/chenshuo/muduo-protorpc : 
理 对 象 生命 期 。 


新 的 RPC 实 现 ， 


6.3.3 ”线程 模型 


muduo 的 线程 模型 符合 我 主张 的 one loop per thread 十 thread pool 模 
型 。 每 个 线程 最 多 有 一 个 EventLoop， 每 个 TcpConnection 必 须 归 某 个 
EventLoop 和 管理， 所 有 的 IO 会 转移 到 这 个 线程 。 换 句 话 说 ， 一 个 file 
descriptor 只 能 由 一 个 线程 读 写 。TcpConnection 所 在 的 线程 由 其 所 属 的 
EventLoop 决 定 ， 这 样 我 们 可 以 很 方便 地 把 不 同 的 TCP 连 接 放 到 不 同 的 
线程 去 ， 也 可 以 把 一 些 TCP 连 接 放 到 一 个 线程 里 。TcpConnection 和 
EventLoop 十 线程 安全 的 ， 可 以 跨 线 程 调 用 。 

TcpServer 直 接 文 持 多 线程 ， 它 有 两 种 模式 : 


:单线 程 ，accept(2) 与 TcpConnection 用 同一 个 线程 做 IO。 

:多 线程 ，accept(2) 与 EventLoop 在 同一 个 线程 ， 另 外 创建 一 个 
EventLoopThreadPool， 新 到 的 连接 会 按 round-robin 方 式 分 配 到 线程 池 
中 。 


后 文 86.6 还 会 以 Sudoku 服 务 吉 为 例 再 次 介绍 muduo 的 多 线程 模型 。 
结语 


muduo 是 我 对 常见 网 络 编程 任务 的 总 结 ， 用 它 我 能 很 容易 地 编写 多 
线程 的 TCP 服 务 器 和 客户 端 。muduo 是 我 业余 时 间 的 作品 ， 代 码 估计 还 
有 一 些 bug， 功 能 也 不 完善 (例如 不 支持 signal 处 理 *) ， 待 日 后 慢 慢 改 
进 吧 。 


6.4 ”使 用 教程 


i 本 方 主要 介绍 muduo 网 络 库 的 使 用 ， 其 设计 与 实现 将 在 第 8 章 讲 
人 

muduo 只 文 持 Linux 2.6.x 下 的 并 有 发 非 阻 桂 TCP 网 络 编程 ， 它 的 核心 
征 每 个 IO 线程 一 个 事件 循环 ， 把 IO 事件 分 发 到 回调 函数 上 。 

我 编号 muduo 网 络 库 的 目的 之 一 驶 是 简化 日 前 的 TCP 网 络 编程 ， 让 
程序 员 能 把 精力 集中 在 业务 地 辑 的 实现 上 ， 而 不 要 天 天 和 Sockets API 较 
劲 。 借 用 Brooks 的 话说 4&a， 我 布 望 muduo 能 减少 网 络 编程 中 的 介 发 复杂 
性 (accidental complexity) 。 


6.4.1 TCP 网 络 编程 本 质 论 


基于 事件 的 非 阻 杜 网 络 编程 是 编写 高 性 能 并 发 网 络 服务 程序 的 主流 
模式 ， 汰 一 次 使 用 这 种 方式 编程 通常 需要 转换 思维 模式 。 把 原来 “主动 
调用 recv(2) 来 接收 数据 ， 主 动 调用 accept(2) 来 接受 新 连接 ， 主 动 调用 
send(2) 来 肥 送 数据 2 的 思路 换 成 < 注册 一 个 收 数据 的 回调 ， 网 络 库 收 到 数 
据 会 调用 我 ， 和 直接 把 数据 提供 给 我 ， 供 我 消费 。 注 册 一 个 接受 连接 的 回 
调 ， 网 络 库 接受 了 新 连接 会 回调 我 ， 直 接 把 新 的 连接 对 象 传 给 我 ， 供 我 
使 用 。 需 要 友 送 数据 的 时 候 ， 只 管 往 连 接 中 写 ， 网 络 库 会 负责 无 阻塞 地 
发 送 。” 这 种 编程 方式 有 点 像 Win32 的 消息 循环 ， 消 县 循环 中 的 代码 应 该 
避免 阳 图 ， 否 则 会 让 整个 窗口 失去 啊 应 ， 同 理 ， 事 件 处 理 函 数 也 应 该 避 
免 阻 蹇 ， 否 则 会 让 网 络 服务 失去 响应 。 

我 认为 ，TCP 网 络 编程 最 本 质 的 是 处 理 三 个 半 事 件 : 


1. 连接 的 建立 ， 包 括 服 务 妆 接受 〈accept) 新 连接 和 客户 关 成 功 发 
起 〈connect) 连接 。TCP 连 接 一 旦 建立 ， 客 户 端 和 服务 痕 是 平等 的 ， 可 
以 各 目 收 发 数据 。 

2. 连接 的 断 开 ， 包 括 主 动 断 开 (dose、shutdown) 和 被 动 断 开 
(read(2) 人 返回 0) 。 

3. 消息 到 达 ， 文 件 摘 述 符 可 谈 。 这 是 最 为 重要 的 一 个 事件 ， 对 它 
的 处 理 方式 决定 了 网 络 编程 的 风格 (阻塞 还 是 非 阻 塞 ， 如 何人 处 理 分 包 ， 
应 用 层 的 缓冲 如 何 设 计 ， 等 等 )。 

3.5 消息 发 送 完 毕 ， 这 算 半 个 。 对 于 低 流 量 的 服务 ， 可 以 不 必 关 
心 这 个 事件 ; 另外 ， 这 里 的 “发 送 完毕 ”是 指 将 数据 写 入 操作 系统 的 缓冲 
将 由 TCP 协 议 栈 负责 数据 的 发 送 与 重 传 ， 不 代表 对 方 已 经 收 到 数 


这 其 中 有 很 多 难点 ， 也 有 很 多 细节 需要 注意 ， 比 方 说 : 

如 果 要 主动 关闭 连接 ， 如 何 保证 对 方 已 经 收 到 全 部 数据 ? 如 果 应 用 
层 有 缓冲 〈 这 在 非 阻塞 网 络 编程 中 是 必需 的 ， 见 下 文 ) ， 那 么 如 何 保证 
Se 然后 再 断 开 和 连接? 直接 调用 close(2) 您 怕 是 
\ 行 的 。 

如 果 主 动 友 起 连接 ， 但 是 对 方 主动 拒绝 ， 如 何 定 期 (市 back-off 
地 ) 重 试 ? 

非 阻 塞 网 络 编 程 该 用 边沿 触发 (edge trigger) 还 是 电 平 触发 (level 
trigger) ?2 如 果 是 电 平 触 友 ， 那 么 什么 时 候 关 注 EPOLLOUT 事 件 ? 会 
不 会 造成 busy-loop? 如 果 是 边沿 租 有 发 ， 如 何 防 目 漏 恋 造 成 的 饥 饼 ? 


epoll(4) 一 定 比 poll(2) 快 吗 ? 

在 非 阻 蔡 网 络 编程 中 ， 为 什么 要 使 用 应 用 层 故 这 绥 冲 区 ? 假设 应 用 
程序 需要 发 送 40kB 数 据 ， 但 是 操作 系统 的 TCP 发 送 缓冲 区 只 有 25kB 剩 余 
空间 ， 那 么 剩 下 的 15kB 数 据 怎 么 办 ? 如 果 等 待 OS 绥 冲 区 可 用 ， 会 阻 考 
当前 线程 ， 因 为 不 知道 对 方 什 么 时 候 收 到 并 旋 取 数据 。 因 此 网 络 库 应 该 
把 这 15kB 数 据 绥 存 起 来 ， 放 到 这 个 TCP 链 接 的 应 用 层 发 送 缓冲 区 中 ， 等 
socket 变 得 可 写 的 时 候 立 刻 发 送 数据 ， 这 样 “ 发 送 ? 操 作 不 会 阻 星 。 如 果 
应 用 程序 随 后 义 要 发 这 50kB 数 据 ， 而 此 时 发 送 缓冲 区 中 疝 有 未 发 迷 的 数 
据 《 右 干 KB) ， 那 么 网 络 库 应 该 将 这 50kB 数 据 妃 加 到 发 这 绥 冲 区 的 末 
尾 ， 而 不 能 立刻 符 试 write0， 因 为 这 样 有 可 能 打 乱 数据 的 顺序 。 

在 非 阻 杜 网络 编程 中 ， 为 什么 要 使 用 应 用 层 接 收 缓冲 区 ? 假如 一 次 
谈 到 的 数据 不 够 一 个 完整 的 数据 包 ， 那 么 这 些 已 经 谈 到 的 数据 是 不 是 应 
该 先 暂 存在 菜 个 地 方 ， 等 剩余 的 数据 收 到 之 后 再 一 并 处 理 ? 见 lighttpd 关 
于 NNNN 分 包 的 bpug2a。 假 如 数据 是 一 个 字 节 一 个 字 有 地 到 达 ， 间 隔 
10ms， 每 个 字 贡 触发 一 次 文件 描述 符 可 读 (readable〉 事件 ， 程 序 是 全 
还 能 正常 工作 ? 1lighttpd 在 这 个 问题 上 出 过 安全 漏洞 <。 

在 非 阻 轩 网络 编程 中 ， 如 何 设计 并 使 用 缓冲 区 ? 一 方面 我 们 希望 减 
少 系 统 调用 ， 一 次 读 的 数据 越 多 越 划 算 ， 那 么 似乎 应 该 准备 一 个 大 的 绥 
冲 区 。 画 一 方面 ， 我 们 硕 望 减少 内 存 占 用 。 如 果 有 10000 个 并 发 连接 ， 
每 个 连接 一 建立 束 分 配备 50kB 的 读 写 绥 冲 区 (s) 的 话 ， 将 占用 1GB 内 和 契 ， 
而 大 多 数 时 候 这 些 缓冲 区 的 使 用 识 很 低 。muduo 用 readv(2) 结 合 栈 上 空间 
巧妙 地 解决 了 这 个 问题 。 

如 果 使 用 发 送 缓冲 区 ， 万 一 接收 方 处 理 缓慢 ， 数 据 会 不 会 一 下 堆积 
在 发 送 方 ， 造 成 内 存 骏 涨 ? 如 何 做 应 用 层 的 流量 控制 ? 
m 如 何 设计 并 实现 定时 右 ? 并 使 之 与 网 络 IO 共 用 一 个 线程 ， 以 避免 
> 让 o 

这 些 问 题 在 muduo 的 代码 中 可 以 找到 答案 。 
6.4.2 echo 服务 的 实现 

muduo 的 使 用 非常 简单 ， 不 二 要 从 指定 的 类 派生 ， 也 不 用 和 窗 写 虚 函 
数 ， 只 需要 注册 几 个 回调 函数 去 处 理 前 面 提 到 的 三 个 半 事 件 就 行 了 。 

下 面 以 经 典 的 echo 回 显 服务 为 例 : 


1. 定义 EchoServer class， 不 需要 小 后 目 任 何 基 类 。 


examples/simple/echo/echo.h 
#include <muduo/net/TcpServer.h> 


/:/ RFC 862 
class EchoServer 
{ 
public: 
EchoServer{(muduo: :net::EventLoop* loop, 
const muduo: :net::lnetAddress& listenAddr): 


vold start): // calls server_.start(): 


private: 
vold onConnection(const muduo: :net::TcpConnectionPtré& conny ; 


vold onMessage(const muduo: :net::TcpConnectionPtr& conn, 
muduo: :net::Buffer* buf, 
muduo: :Timestamp time): 


muduo: :net::EventLoop* loop_; 


muduo: :net: :TcpServer server_; 


总 


在 构造 孙 数 里 注册 回调 函数 。 


examples/simple/echo/echo.h 


examples/simple/echo/echo.cc 
EchoServer: :EchoServyer (muduyuo: :net::EventLoop* loop, 
const muduo: :net::InetAddress& listenAddr) 
: loop_(loop), 
server_(loop, listenAddr, "EchoServer") 
{ 
server_.setConnectioncallbackt 
boost: :bind(&EchoServer: :onConnection, this, _1)): 
server_.setMessageCallbackt 
boost: :bind(&EchoServer: :onMessage, this, _1, _2, _3)):; 


examples/simple/echo/echo.cc 


2. 实现 EchoServer::onConnection() 和 EchoServer::onMessage()。 


一 examples/simple/echo/echo.cc 
26 Vold Echoserver: :onConnection(const muduo: :net::TcpConnectionPtr& conn) 


28 LOG_INFO << “Echoserver - ”<< conn->peerAddress().toIpPort() << ”-> ” 
29 << conn->localAddress().tolpPort() << 15S 

30 << (conn->connectedrt) ? "UP” : “DOWN ) ; 

31 } 


33 vold Echoserver::onMessage(const muduo: :net::TcpConnectionPtré& conn， 


34 muduo: :net: :Buffer* buf ， 

35 muduo: :Timestamp time) 

36 苹 

37 muduo: :string msg(buf->retrieveAllAsString()):; 

38 LOG_INFO << conn->name() << ”echo ”<< msp.size() << " bytes, " 
39 << "data received at ”<< time.toStringO): 

40 conn->send(msg); 


examples/simple/echo/echo.cc 


L37 和 L40 是 echo 服 务 的 “业务 逻辑?: 把 收 到 的 数据 原封 不 动 地 发 回 
客户 端 。 注 意 我 们 不 用 担心 L40 的 send(msg) 是 否 完整 地 发 送 了 数据 ， 
为 muduo 网 络 库 会 帮 有 我们 管理 发 送 缓冲 区 。 

这 两 个 函数 体现 了 “基于 事件 编程 ?的 典型 做 法 ， 即 程序 主体 是 被 动 
等 符 事 件 及 生 ， 事 件 上 友 生 之 后 网 络 库 会 调用 《回调 ) 事先 注册 的 事件 处 
理 消 数 (event handler) 。 

在 onConnection() 函 数 中 ，conn 参 数 是 TcpConnection 对 象 的 
shared_ptr，TcpConnection::connected() 人 返回 一 个 bool 值 ， 表 明 目 前 连接 
是 建立 还 是 断 开 ，TcpConnection 的 peerAddressO0 和 1localAddressO) 成 员 函 
数 分 别 返 回 对 方 和 本 地 的 地 址 《以 InetAddress 对 象 表示 的 IP 和 port) 。 

在 onMessage0 国 数 中 ，conn 参 数 是 收 到 数据 的 那个 TCP 连 接 : buf 
是 已 经 收 到 的 数据 ，buf 的 数据 会 系 积 ， 和 直到 用 户 从 中 取 走 (retrieve) 
数据 。 注 意 buf 是 指针 ， 表 明 用 户 代 码 可 以 修改 ( 消 绩 〉 buffer，time 是 
收 到 数据 的 确切 时 间 ， 即 epoll_wait(2) 返 回 的 时 间 ， 注 意 这 个 时 间 通 常 
比 read(2) 肥 生 的 时 间 略 早 ， 可 以 用 于 正确 测量 程序 的 消息 处 理 延 返 。 忆 
外 ，Timestamp 对 象 采用 pass-by-value， 而 不 是 pass-by-(const)reference， 
这 是 有 意 的 ， 因 为 在 x86-64 上 可 以 直接 通过 寄存 器 传 参 。 

3. 在 main0 里 用 EventLoop 让 整个 程序 跑 起 来 。 


examples/simple/echo/main.cc 
#include "echo.h" 


#include <muduo/base/Logging.h> 
#include <muduo/net/EventLoop.h> 


// Using namespace muduo; 
/i Using namespace muduo: :net: 


9 1nt main(C) 

10 二 

11 LOG_INFO << “pid = " << getpid(): 

12 muduo: :net::EventLoop loop: 

13 muduo: :net::InetAddress listenAddr (2807): 
14 EchoServer server(&loop, listenAddr): 


15 server .startfy ， 
16 1coop .1oopfy ; 
17 | 


examples/simple/echo/main.cc 


完整 的 代码 见 muduo/examples/simple/echo 。 这 个 几 十 行 的 小 程序 实 
现 了 一 个 曲线 程 并 友 的 echo 服 务 程 序 ， 可 以 同时 处 理 多 个 连接 。 

这 个 程序 用 到 了 TcpServer、EventLoop、TcpConnection、Buffer 这 
几 个 class， 也 大 致 反 映 了 这 几 个 class 的 典型 用 法 ， 后 文 还 会 详细 介绍 这 
几 个 class。 注 意 ， 以 后 的 代码 大 多 会 省 略 namespace。 


6.4.3 ”七 步 实现 finger 服 务 


Python Twisted 是 一 蒜 非 党 好 的 网 络 库 ， 它 也 末 用 Reactor 作 为 网 络 
编程 的 基本 模型 ， 所 以 从 使 用 上 与 muduo 颇 有 相似 之 处 (当然 ，muduo 
没有 deferreds) 。 

finger 是 Twisted 文 梢 的 一 个 经 典 例 子 ， 本 文 展示 如 何 用 muduo 来 实 
现 最 人 简单 的 finger 服 务 闹 。 限 于 遍 幅 ， 只 实现 finger01~finger07。 代 码 位 
于 examples/twisted/finger。 


1. 拒绝 连接 。 “什么 都 不 做 ， 程 序 空 等 。 


a 


examples/twisted/finger/finger01 .cc 
#include <muduo/net/EventLoop.h> 


using namespace muduo: 
Using namespace muduo: :net: 


int main() 

{ 
EventLoop loop: 
loop., loop(): 

} 


I 加 = 的 II 上 国手 


examples/twisted/finger/finger01.cc 


2. 接受 新 连接 。 ”在 1079 闹 口 侦 听 新 连接 ， 接 受 连 接 之 后 什么 都 
不 做 ， 程 序 空 等 。muduo 会 目 动 丢弃 收 到 的 数据 。 


examples/twilstedAhnngernnger02cc 
#include <muduo/net/EventLoop.h> 
#include <muduo/net/TcpServer.h> 


Using namespace muduo: 
Using namespace muduo: :net; 


int main() 
{ 
EventLoop loop: 
TecpServer server(&loop, InetAddress(1879), "Finger"):; 
server.start(): 
loop.l1o0p(): 


i 睫 : 
Cs 


EE 睛 : 
Ly hd 
i 


examples/twisted/finger/fingerQ2.cc 


3. 主动 断 开 连接 。 ”接受 新 连接 之 后 主动 断 开 。 以 下 省 略 头 文件 


和 mnamespace。 


examples/twisted/finger/fingerQ 3.cc 
7 void onCconnection(const TcpConnectionPtr& conn) 
8 + 
9 if (conn->connected()) 
10 { 
11 conn->shutdownt ) ; 
12 } 
13 1} 


15 int main() 

16 于 

17 EventLoop loop; 

18 TcpServer server(&loop, InetAddress(1879), "Finger"); 


19 server.setCconnectionCcallback(onconnection}: 
20 server . Start ) ; 

21 loop. loop(): 

+ 


examples/twisted/finger/finger0 3.cc 


4. 读 取 用 户 名 ， 然 后 断 开 连接 。 ”如果 读 到 一 行 以 wn 结尾 的 消 
轧 ， 就 断 开 和 连接。 注意 这 段 代 伍 有 安全 问题 ， 如 果 和 恶意 客户 关 不 断 发 送 
数据 而 不 换行 ， 会 撑 健 服务 问 的 内 存 。 另 外 ，Buffer::findCRLFO 是 线性 
查找 ， 如 果 和 客户 端 每 次 发 一 个 字 节 ， 服 务 端 的 时 间 复 林 硫 为 O(N: )， 会 
消耗 CPU 资源 。 


examples/twisted/finger/finger04.cc 
7 vold onMessage(const TcpConnectionPtr& conn, 
8 Bufferx buf ， 
9 Timestamp receiveTlime) 


{ 
11 if (buf->findcRLFCOY) 
12 { 
13 conn->shutdownt ) ; 
14 } 
15 } 


17 int main() 

18 +{ 

19 EventLoop loop:; 

20 TcpServer server(&loop, InetAddress(1879), Finger ):; 


21 server.setMessageCallback(onMessage); 
22 server .start(); 

23 loop. loop(): 

24 } 


examples/twisted/finger/finger04d.cc 


5， 读 取 用 户 名 、 输 出 错误 信息 ， 然 后 断 开 连 接 。 ”如 果 读 到 一 行 
bm 结尾 的 消息 ， 就 发 送 一 条 出 错 信息 ， 然 后 断 开 连接 。 安 全 问题 同 
和 


--- examples/twisted/finger/fingerd4.cc 2010-08-29 00:03:14 +0800 
+++ examples/twisted/finger/fingerd5.cc 2010-08-29 00:06:05 +0800 
@@ -7,12 + 13 66 
void onMessage(const TcpConnectionPtr& conn, 
Buffer* buf, 
Timestamp recelvelTlme) 


if (buf->findCRLFCY) 
+ conn->send("No such user\r\n"):; 
conn->shutdown(): 
} 
} 


6 从 衬 的 UserMap 里 答 找 用 户 。 从 一 行 消 因 中 拿 到 用 户 名 
(L30) ， 在 UserMap 里 奏 找 ， 然 后 返回 结 末 。 安 全 问题 同上 。 


“examples/twisted/finger/finger0e.cc 
9 typedef std::map<string, string> UserMap: 
10 UserMap users: 


i1 

12 string getUser(const string& user) 

13 二 

14 string result = "No such user™": 

15 UserMap: :iterator it = users.find(user): 
16 If (it != users.end()) 

17 { 

18 result = it->second. 

19 } 

20 return result: 

21 1} 

22 

23 void onMessage(const TcpConnectionPtr& conn, 
24 Buffer* buf ， 

25 Timestamp receiveTime) 

26 二 


27 const charx crlf = buf->findcRLFO: 
28 if ccerilf’ 


9 t 

30 string user(buf->peek(}, crlf); 

31 conn->send(getUser (user) + "\r\n"): 
32 buf->retrieveUntil(crlf + 2): 

33 conn->shutdown():; 

34 + 

35 } 

36 

37 int main’) 

38 { 

39 EventLoop loop:; 

40 TcpServer server(&loop, InetAddress(1879), "Finger”): 
41 server.setMessageCallback(onMessage); 
42 server.start(): 

43 loop. loop():; 

44 


examples/twisted/finger/fingerQé.cc 


7. 往 UserMap 里 添加 一 个 用 户 。 “与 前 面 几乎 完全 一 样 ， 只 多 了 
L398 


--- examples/ytwistegAfingeryfinegeroo.cc 2010-08-29 00:14:33 +O800 
+++ examples/twisted/finger/fingerd7 .cc 2010-068-29 00:15:22 +0800 
ae@ -36,6 +36 ,7 @@ 
nt malnmt ) 
{ 
+ UsersL"schen"] = "Happy and well": 
EventLoop loop: 
TCPServer server(&loop, InetAddress(18079), FInEeEr ): 
server.setMessageCallback (onMessage): 
server.startt(): 
loop. loo0p(): 


以 上 就 是 全 部 内 容 ， 可 以 用 telnet(1) 扮 演 客户 端 来 测试 我 们 的 简单 
finger 服 务 端 。 


Telnet 测 试 


在 一 个 命令 行 窗口 运行 : 

$ .Abin/twisted_finger@7 

妨 一 个 作 令 行 运行 : 
$ telnet locailhost 1879 
Trying ::1... 
Trying 127.0.08.1. 
Connected to Towalhost. 
Escape character 1s “|]. 
MuUdUuo 
No such user 
Connection closed by foreign host. 


表 试 一 次 : 


$ telnet localhost 1679 

Traitte 2 | en 

Trying 127.0.0.1... 

Connected to localhost. 

Escape character 1S “| ， 

schen 

Happy and well 

Connection closed by foreign host. 


冒 烟 测试 过 关 。 
6.5 ”性 能 评测 


我 在 一 开始 编写 muduo 的 时 候 并 没有 以 高 性 能 为 首要 目标 。 在 2010 
年 8 月 发 布 之 后 ， 有 网 友 询 问 其 性 能 与 其 他 遇见 网 络 库 相 比 如 何 ， 因 此 
我 才 加 入 了 一 些 性 能 对 比 的 示例 代码 。 我 很 惊奇 地 有 发现， 在 muduo 擅 长 
的 领域 (TCP 长 连接 ) ， 其 性 能 不 比 任何 开源 网 络 库 闫 。 

性 能 对 比 原 则 : 采用 对 方 的 性 能 测 斌 方案， 用 muduo 实 现 功能 相同 
或 其 似 的 程序 ， 然 后 放 到 相同 的 软 便 件 环境 中 对 比 。 

注意 这 里 的 测试 只 是 人 简 蛙 地 比较 了 平均 值 ， 其 实在 严肃 的 性 能 对 比 
A (percentile) 的 值 s。 限 于 扁 幅 ， 此 
处 从 略 。 


6.5.1 muduo 与 Boost.Asio、1libevent2 的 吞吐 量 对 比 


我 在 编写 muduo 的 时 候 并 疫 有 以 局 并 及 、 局 在 吐 为 主要 目标 。 但 出 
乎 我 的 意料 ，ping pong 测 试 表 明 ，muduo 的 生 吐 量 比 Boost.Asio 局 15%% 
以 上 ; 比 libevent2 高 18% 以上， 个 别 情况 甚至 达到 70%. 


测试 对 象 


boost 1.40 中 的 asio 1.4.3 

“asio 1.4.5 (http://think-async.com/Asio/Download ) 

libevent 2.0.6-rc (http://monkey.org/~provos/libevent-2.0.6-rc.tar.gz ) 
‘muduo 0.1.1 


测试 代码 


“asio 的 测试 代码 取 目 
http://asio.cvs.sourceforge.net/Viewvc/asio/asio/src/tests/performance/ ， 示 做 
更 改 。 

:我 目 己 编号 了 libevent2 的 ping pong 测 斌 代码， 路 径 是 
recipes/pingpong/libevent/ 。 由 于 这 个 测试 代码 没有 使 用 多 线程 ， 所 以 只 
对 比 muduo 和 1libevent2 在 单线 程 下 的 性 能 。 

muduo 的 测试 代码 位 于 examples/pingpong/ ， 代 码 如 gistz 所 示 。 
muduo 和 asio 的 优化 编译 参数 均 为 -0O2 -finline-limit=1000。 

$ BUILD_TYPE=release ./build.sh # 编译 muduo 的 优化 版 本 


测试 环境 


硬件 : DELL 490 工 作 站 ， 双 路 Intel 四 核 Xeon E5320 CPU， 共 8 核 ， 
主 频 1.86GHz， 内 存 16GiB。 

软件 ， 操作 系 统 为 Ubuntu Linux Server 10.04.1 LTS x86 64， 编 详 器 
是 g++ 4.4.3。 


汕 弃 方法 


依据 asio 性 能 测试 2 的 办 法 ， 用 ping pong 协 议 来 测试 muduo、asio、 
libevent2 在 单机 上 的 吞吐 量 。 

答 单 地 说 ，ping pong 协 议和 是 客户 痪 和 服务 器 都 实现 echo 协 议 。 当 
TCP 连 接 建 立时 ， 客 户 端 同 服 务 絮 发 送 一 些 数 据 ， 服 务 器 会 echo 回 这 些 
数据 ， 然 后 客户 端 再 echo 回 服务 器 。 这 些 数 据 就 会 像 乒 乓 球 一 样 在 客户 
闪 和 服务 器 之 间 来 回 传送 ， 直 到 有 一 方 断 开 和 连接 为 止 。 这 是 用 来 测试 吞 
吐 量 的 第 用 办 法 。 注 总数 据 是 无 格式 的 ， 双 方 都 是 收 到 多 少数 据 残 反射 
回去 多 少数 据 ， 并 不 拆 包 ， 这 与 后 面 的 ZeroMQ 延 迟 测试 不 同 。 

我 主要 做 了 两 项 测试 : 


:单线 程 测试 。 客 户 端 与 服务 器 运行 在 同一 台 机 器 ， 均 为 单线 程 ， 
测试 并 发 连接 数 为 10/100/1000/10000 时 的 吞吐 量 。 

:多 线程 测试 。 并 发 连接 数 为 100 或 1000， 服 务 器 和 客户 端的 线程 数 
同时 设 为 2/3/4。 《由 于 我 家 里 只 有 一 侣 8 核 机 大 ， 而 且 服 务 左 和 客户 
端 运行 在 同一 台 机 器 上 ， 线 程 数 大 于 4 没有 意义 。) 


在 所 有 测试 中 ，ping pong 消 息 的 大 小 均 为 16KiB。 测 试用 的 shell 脚 
本 可 从 http://gist.github.com/564985 下 载 。 
在 同一 台 机 器 测试 否 吐 量 的 原因 如 下 : 


现在 的 CPU 很 快 ， 即 便 是 单线 程 单 TCP 连 接 也 能 把 千 兆 以 太 网 的 市 
宽 跑 满 。 如 果 用 两 台 机 器 ， 所 有 的 厨 吐 量 测 试 结 果 都 将 是 110MiB/s， 失 
去 了 对 比 的 意义 。 (用 Python 也 能 跑 出 同样 的 否 叶 量 ， 或 许可 以 对 比 哪 
个 库 占 的 CPU 少 。) 

在 同一 台 机 器 上 测试 ， 可 以 在 CPU 资源 相同 的 情况 下 ， 单 纯 对 比 网 
络 库 的 效率 。 也 束 是 说 在 单线 程 下 ， 服 务 端 和 客户 端 各 占 满 1 个 CPU， 
比较 哪个 库 的 吞吐 量 高 。 


训 试 结 条 
单线 程 负 试 的 结束 〈 见 图 6-3) ， 数 字 越 大 越 好 。 


单线 程 





500 
450 
400 
一 350 
下 300 
= 0 
200 
还 150 
100 
0 过 
1 10 100 1000 10000 
一 4 一 muduo 191.0 449.6 406.3 379.2 383.7 
一 上 一 asio 1.4.5 192 .3 420.8 343.7 324.1 329.9 
一 加 一 asio 1.4.3 166.2 342.8 289.7 271.6 276.6 
i ibevent2.0.6| 174.2 240.2 240.2 210.5 184.7 





图 6-3 


以 上 结果 让 人 大 跌 眼 锐 ，muduo 大 人 然 比 libevent2 快 70%! 跟踪 
libevent2 的 源 代 人 码 友 现 ， 它 每 次 最 多 从 socket 读 取 4096 字 节 的 数据 (证 
据 在 buffer.c 的 evbuffer_read0 函 数 ) ， 怪 不 得 吞吐 量 比 muduo 小 很 多 。 
内 为 在 这 一 测试 中 ，muduo 每 次 读 取 16384 子 市 ， 系 统 调用 的 性 价 比较 


[jo 


为 了 公平 起 见 ， 我 再 测 了 一 次 ， 这 回 两 个 库 都 发 送 4096 字 节 的 消 县 
( 见 图 6-4) 。 


单线 程 (4k 缓冲 ) 


曙 
= 
光 


一 上 一 muduo | 67.79 | 19801 | 197.95 177.40 
一 加 一 |ibevent| 5772 | 163.42 | 166.36 | 131.89 





图 6-4 


测试 结果 表明 muduo 的 厨 吐 量 平 均 比 libevent2 局 18% 以 上 。 
多 线程 测试 的 结果 〈 见 图 6-5) ， 数 字 越 大 越 好 。 






































多 线程 (1000 连接 ) 
700 上 二 
00 = 
了 人 500 
四 
三 至 400 
中 i 
[3 | 300 Oe 
昌 必 和 
100 


一 4 一 muduo 
=== 35i0 1 .4.3 


=== 35|0 1.4,5 





图 6-5 
测试 结果 表明 muduo 的 行 吐 量 平 均 比 asio 高 15% 以 上 。 


讨论 


muduo 出 卑 意料 地 比 asio 性 能 优越 ， 我 想 主 要 得 苞 于 其 简单 的 充 计 
和 简洁 的 代 倘 。asio 在 多 线程 测试 中 表现 不 佳 ， 我 狂 测 其 主要 原因 古 测 
试 代码 只 使 用 了 一 个 io_service， 如 果 改 用 “io_service per CPU” 的 话 ， 其 
性 能 应 该 有 所 提高 。 我 对 asio 的 了 解 程度 仅 限 于 能 读 恒 其 代码 ， 硕 望 能 
有 asio 高 手 编写 “io_service per CPU” 的 ping pong 测 试 ， 以 便 与 mnuduo 做 一 
< 

由 于 libevent2 每 次 最 多 从 网 络 读 取 4096 字 节 ， 这 大 大 限制 了 它 的 雁 
吐 量 。 

ping pong 测 试 很 容易 实现 ， 欢 迎 其 他 网 络 库 〈ACE、 了 POCO、 

libevent 等 ) 也 能 加 入 到 对 比 中 来 ， 期 竺 这 些 库 的 高 手 出 马 。 


6.5.2” 击 鼓 传 花 : 对 比 muduo 与 libevent2 的 事件 处 理 效率 


前 面 我 们 比较 了 muduo 和 1libevent2 的 吞吐 量 ， 得 到 的 结论 是 muduo 
比 libevent2 快 18% .有 人 会 说 ，libevent2 并 不 是 为 高 各 吐 量 的 应 用 场景 而 
设计 的 ， 这 样 的 比较 不 公平 ， 胜 之 不 武 。 为 了 公平 起 见 ， 这 回 我 们 用 
libevent2 目 市 的 性 能 测试 程序 〈 击 或 传人 花 ) 来 对 比 muduo 和 ]ibevent2 在 
高 并 发 情况 下 的 IO 事件 处 理 效率 。 

测试 用 的 软 便 件 环 境 与 前 一 小 和 相同 ， 另 外 我 还 在 目 己 的 DELL 
E6400 笔 记 本 电脑 上 运行 了 测试 ， 结 果 也 附 在 后 和 面 。 

测试 的 场景 是 : 有 1000 个 人 围 成 一 圈 ， 玩 击 或 传 花 的 游戏 ， 一 开始 
第 1 个 人 手 里 有 花 ， 他 把 花 传 给 右手 边 的 人 ， 那 个 人 再 继续 把 花 传 给 石 
手边 的 人 ， 当 花 转 手 100 次 之 后 游戏 俘 止 ， 记 录 从 开始 到 结束 的 时 间 。 

用 程序 表达 是 ， 有 1000 个 网 络 连接 (socketpair(2) 或 pipe(2)) ， 数 气 
在 这 些 连接 中 顺 次 传递 ， 一 开始 往 第 1 个 连接 里 写 1 个 字 节 ， 然 后 从 这 个 
连接 的 另 一 头 旋 出 这 1 个 字 闻 ， 再 写 入 第 2 个 连接 ， 然 后 旋 出 来 继续 写 到 
第 3 个 连接 ， 直 到 一 共 写 了 100 次 之 后 程序 停止 ， 记 录 所 用 的 时 间 。 

以 上 是 只 有 一 个 活动 连接 的 场景 ， 我 们 实际 测试 的 是 100 个 或 1000 
个 活动 连接 〈 即 100 秒 人 花 或 1000 和 东 花 ， 均 匀 分 散在 人 和 群 手 中 ) ， 而 连接 
总 数 〈 即 并 发 数 ) 从 100 一 100000〈10 万 ) 。 注 意 每 个 连接 是 两 个 文件 
摘 述 符 ， 为 了 运行 测试 ， 需 要 调 高 每 个 进程 能 打开 的 文件 数 ， 比 如 设 为 
256000。 


libevent2 的 测试 代码 位 于 test/bench.c ， 我 修复 了 2.0.6-rc 版 里 的 一 个 
小 bug。 修 正 后 的 代码 见 已 经 提交 给 libevent2 作 者 ， 现 在 下 载 的 最 新 版 
本 是 正确 的 。 

muduo 的 测试 代码 位 于 examples/pingpong/bench.cc 。 


汕 试 结 末 与 讨论 


第 一 轮 ， 分 别 用 100 个 活动 连接 和 1000 个 活动 连接 ， 无 超时 ， 旋 写 
100 次 ， 测 试 一 次 游戏 的 总 时 则 (包含 和 初始化》 和 事件 处 理 的 时 间 (不 
包含 注册 event watcher〉 随 连接 数 〈( 并 发 数 ) 变化 的 情况 。 具 体 解 释 见 
libev 的 性 能 测试 文档 ss， 不 同 之 处 在 于 我 们 不 比较 timer event 的 性 能 ， 只 
比较 IO event 的 性 能 。 对 每 个 并 发 数 ， 程 序 循 环 25 次 ， 刨 去 第 一 次 的 热 
刁 数 据 ， 后 24 次 算 平 均值 。 测 试用 的 脚本 2 是 libev 的 作者 Marc Lehmann 
写 的 ， 我 略 做 改 用 ， 用 于 测试 muduo 和 1libevent2 。 

第 一 轮 的 结果 〔( 见 图 6-6)〉 ， 请 先 只 看 “十 ” 线 ( 实 线 ) 和 “x” 线 ( 粗 
虚线 ) 。“x2” 线 是 libevent2 用 的 时 间 , “十 ” 线 是 muduo 用 的 时 间 。 数 字 越 
小 越 好 。 注 意 这 个 图 的 模 坐 标 是 对 数 的 ， 每 一 个 数量 级 的 取 值 点 为 1， 
2 Ds ds 5s 0 7/5» 0s 
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从 两 条 线 的 对 比 可 以 看 出 : 


1. libevent2 在 初始 化 event watcher 方 面 比 muduo 快 20% (左边 的 两 
个 图 ) 。 

2. 在 事件 处 理 方面 〈 右 边 的 两 个 图 ) 

a. 在 100 个 活动 连接 的 情况 下 ， 

当 总 连接 数 〈 并 发 数 ) 小 于 1000 或 大 于 30000 时 ， 二 者 性 能 差 不 


WN 


当 总 连接 数 大 于 1000 或 小 于 30000 时 ，libevent2 明 显 领 先 。 
b. 在 1000 个 活动 连接 的 情况 下 ， 

当 并 发 数 小 于 10000 时 ，1libevent2 和 muduo 得 分 接近 ; 

当 并 发 数 大 于 10000 时 ，muduo 明 显 占 优 。 


这 里 有 两 个 问题 值得 探讨 : 


1. 为 什么 muduo 花 在 初始 化 上 的 时 间 比 较 多 ? 
2. 为 什么 在 一 些 情况 下 它 比 libevent2 慢 很 多 ? 


我 仔细 分 析 了 其 中 的 原因 ， 并 参考 了 libev 的 作者 Marc Lehmann 的 观 
点 2， 结 论 是 : 在 第 一 轮 初 始 化 时 ，libevent2 和 muduo 都 是 用 epoll_ctl(fd， 
EPOLL_CTL_ADD, ..) 来 添加 文件 摘 述 符 的 event watcher。 不 同 之 处 在 
于 ， 在 后 面 24 轮 中 ，muduo 使 用 了 epoll_ctl(fd, EPOLL_CTL_MOD, ...) 来 
更 新 已 有 的 event watcher; 然而 libevent2 继 续 调 用 epoll_ctl(fq,， 
EPOLL_CTL_ADD, ...) 来 重复 添加 fa， 并 忽略 返回 的 错误 人 码 
EEXIST (File exists) 。 在 这 种 重复 谍 加 的 情况 下 ，EPOLL_CTL_ADD 
将 会 快速 地 返回 错误 ， 而 EPOLL_CTL_MOD 会 做 更 多 的 工作 ， 花 的 时 
间 也 更 长 。 于 是 libevent2 捡 了 个 便宜 。 

为 了 验证 这 个 结论 ， 我 改动 了 muduo， 让 它 每 次 都 用 
EPOLL_CTL_ADD 方 式 初 始 化 和 更 新 event watcher， 并 忽略 返回 的 钳 
话 。 

第 二 轮 测 试 结果 见 图 6-6 的 细 虚 线 ， 可 见 改 动 之 后 的 muduo 的 初始化 
性 能 比 libevent2 更 好 ， 事 件 处 理 的 耗 时 也 有 所 降低 〈 我 推测 是 kernel 内 
部 的 原因 ) 。 

这 个 改动 只 是 为 了 验证 想法 ， 我 并 没有 把 它 放 到 muduo 最 终 的 代码 
中 去 ， 这 或 许可 以 留 作 日 后 优化 的 余地 。 具体 的 改动 是 


muduo/net/poller/EPollPoller.cc 第 138 行 和 173 行 ， 读 者 可 目 行 验证 。) 

同样 的 测试 在 双核 笔记 本 电脑 上 运行 了 一 次 ， 结 果 如 图 6-7 所 示 。 
(我 的 笔记 本 电脑 的 CPU 主 频 是 2.4GHz， 高 于 台式 机 的 1.86GHz， 所 以 
用 时 较 少 。) 
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图 6-7 


结论 : 在 事件 处 理 效率 方面 ，muduo 与 jibevent2 总 体 比 较 接 近 ， 和 各 
擅 胜 场 。 在 并 发 量 特别 大 的 情况 下 〈 大 于 10000) ，muduo 略 微 占 优 。 


6.5.3 muduo 与 Nginx 的 行 吐 量 对 比 


本 节 人 简单 对 比 了 Nginx 1.0.12 和 muduo 0.3.1 内 置 的 简陋 HTTP 服 务 器 
的 长 连接 性 能 。 其 中 muduo 的 HTTP 实 现 和 测试 代码 位 于 muduo/net/http/ 


测试 环境 


-服务 端 ， 运 行 HTTP server，8 核 DELL 490 工 作 站 ，Xeon E5320 
CPU。 

.客户 端 ， 运 行 ab 和 weighttp2，4 核 15-2500 CPU。 

网络 :普通 家 用 干 兆 网 。 


测试 方法 “为 了 公平 起 见 ，Nginx 和 muduo 都 没有 访问 文件 ， 而 是 
直接 返回 内 存 中 的 数据 。 毕 葛 我 们 想 比 较 的 是 程序 的 网 络 性 能 ， 而 不 是 
机 二 的 磁盘 性 能 。 另 外 ， 这 里 客户 机 的 性 能 优 于 服务 机 ， 因 为 我 们 要 给 
服务 端 HTTP server 施 压 ， 试 图 使 其 饱和 ， 而 不 是 测试 HTTP client 的 性 
AE 。 


muduo HTTP 测 试 服务 器 的 主要 代码 : 


一 mduo/net/http/tests/HttpServer test.cc 
vold onRegquest(const HttpRequest& req, HttpResponse* resp) 
\ 
if (req.path(y)Y == "/"Y) { 
a 
} else if (req.pathe) == "/hello”y { 
resp->setStatusCode(HttpResponse: :k2000k}: 
resp->setStatusMessage(" OK ) ; 
resp->setContentType(" text/plain”): 
resp->addHeader( Server ， "Muduo"); 
resp->setBody("hello, world!l\n”): 
} else { 
resp->setstatusCode(HttpResponse: :k404NotFound):; 
resp->setStatusMessage("Not Foungq ) ; 
resp->setCloseConnection(true): 
} 
上 


int main(int argc，charx argv[]) 
{ 
Int numThreads = ¢: 
if (argc > 1) 
{ 
benchmark = true; 
Logger: :setLogLevel(Logger: :WARN).; 
numThreads = atoi(argv[1]): 
J 
EventLoop loop: 
HttpsServer server(&loop, lnetAddress(8080), “dummy ): 
server.setHttpCcallback(onRequest).; 
server.setihreadNum(numihreads): 
server .startfty) ; 
loop. loo0p():; 


muduo/net/http/tests/HttpServer test.cc 


Nginx 使 用 了 章 亦 春 的 HITP echo 模 块 * 来 实现 直接 返回 数据 。 配 置 
文件 如 下 : 


#user nobody: 
worker_processes 44; 


events { 
worker_connections 10240， 


nttp { 
include mime. types: 
default_type application/octet-stream: 


access_log off: 


sendfile on: 
tcp_nopush on: 


keepalive_timeout 65; 


Server { 
listen 8080. 
server_name localhost: 


location / { 
root html: 
index index.html index.htm: 


} 


location /hello { 
default_type text/plain; 
echo "hello, world!": 


了 


客户 端 运行 以 下 命令 来 获取 /hello 的 内 容 ， 服 务 端 返回 字符 串 "hello, 
World! 。 
./ab -n 196606 -k -r -c 1600 10.0.0.9:8686/hello 

先 测 试 单线 程 的 性 能 〈 见 图 6-8) ， 横 轴 是 并 发 连接 数 ， 纵 轴 为 每 
秒 完成 的 HTTP 请 求 响应 数目 ， 下 同 。 在 测试 期 间 ，ab 的 CPU 使 用 率 低 
于 70%， 客 户 剖 游 力 有 余 。 





muduo vs. Nginx 1 worker/thread 





























Requests per second 
hh} 
LM 
Li | 
ty 
Lm | 












0 | | 

2 50 | 100 | 200 | 500 | 1000 

muduo| 3512 | 7387 | 27759 | 44552 | 46521 | 45599 | 45595 | 44957 | 40429 | 37845 | 
~—Nginx | 3502 | 6639 | 26319 | 39404 | 40672 | 40192 | 40278 | 39859 | 38825 | 34741 | 


图 6-8 


再 对 比 muduo 4 线程 和 Nginx 4 工作 进程 的 性 能 〈 见 图 6-9)〉 。 当 连接 
数 大 于 20 时 ，top(1) 显 示 ab 的 CPU 使 用 率 达 到 85% ， 已 经 饱和 ， 因 此 换 
用 weighttp( 双 线程 来 完成 其 余 测 试 。 








muduo vs. Nginx 4 workers/threads 













































































Requests per second 
权 
下 
加 


tt | 这 5 10 20 50 | 100 | 200 5000 | 10000 | 
一 上 一 muduo | 3507 | 7440 ol | 31422 32050 | 103178 108706 107216 105266 | 10018> 94956 | S8094 | 
一 全 一 Nginx 3504 | 6625 26591 48134 99259 108125 106288 | 108671 | 97347 93237 ] 88303 | 79873 | 76502 | 


图 6-9 
CPU 使 用 康 对 比 〈 百 分 比 是 top(1) 显 示 的 数值 〉: 












:10000 并 发 连接 ，4 workers/threads，muduo 是 4x83% ，Nginx 是 
4x7570 

:1000 并 发 连接 ，4 workers/threads，muduo 是 4x85% ，Nginx 古 
4x7870 


人 已 看 起 来 Nginx 的 CPU 使 用 率 略 低 ， 但 是 实际 上 二 者 都 已 经 把 CPU 
资源 耗 尺 了。 与 CPU benchmark 不 同 ， 涉 及 IO 的 benchmark 在 满 负 载 下 的 
CPU 使 用 率 不 会 达到 100% ， 因 为 内 核 要 占用 一 部 分 时 间 处 理 IO。 这 里 
的 数值 过 寞 说 明 muduo 和 Nginx 在 满 负 和 傈 的 情况 下 ， 用 户 态 和 内 核 态 的 
比重 略 有 区 别 。 

测试 结果 显示 muduo 多 数 情况 下 略 快 ，Nginx 和 muduo 在 合适 的 条 件 
下 gps〔 每 秒 请 求 数 ) 都 能 超过 10 万 。 值 得 说 明 的 是 ，muduo 没 有 实现 完 
整 的 HITP 服 务 大 ， 而 只 是 实现 了 满足 最 基本 要 求 的 HITP 协 议 ， 因 此 这 
个 测试 结果 并 不 是 说 明 muduo 比 Nginx 更 适合 用 做 httpd， 而 是 说 明 muduo 
在 性 能 方面 没有 犯 低 级 销 误 。 


6.5.4 muduo 与 ZeroMQ 的 延迟 对 比 


本 节 我 们 用 ZeroMQ 目 市 的 延 运 和 否 吐 量 测 试 5 与 muduo 做 一 对 比 ， 
muduo 代 人 码 位 于 examples/zeromq/ 。 测 斌 的 内 容 很 简单 ， 可 以 认为 是 
36.5.1 ping pong 冲 试 的 翻版 ， 不 同 之 处 在 于 这 里 的 消息 的 长 上 度 是 固 秆 
的 ， 收 到 完整 的 消 奶 再 echo 回 发 送 方 ， 如 此 人 往复。 测试 结果 如 图 6-10 所 
示 ， 横 轴 为 消息 的 长 度 ， 纵 轴 为 单程 延迟 〈 微 秒 ) 。 可 见 在 消 恩 长 度 小 
于 16KiB 时 ，muduo 的 延迟 稳定 地 低 于 ZeroMQ。 


muduo vs. ZeroMQ latency on GbE 


200.0 





Average latency [us| 
lower is better 








|1|2|4|8|16|32|64 |128|256|512| 1k | 2k | 4k | gk |16k 


一 一 muduo 43 2 43. 1 |43.1 43. 6 | 44.3 | 44. 7| 118 125 138 | 133 | 149 | 165 | 181 | 154 | 230 | 
ZeroMa |62.2 |61.8 | 61.9 | 62.4 le2.8 |63.8| 138 | 149 155 | 154 | 172 | 193 | 206 | 182 | 289 | 




















图 6-10 


6.6 ”详解 muduo 多 线程 模型 


本 市 以 一 个 Sudoku Solver 为 例 ， 回 顾 了 并 发 网 络 服务 程序 的 多 种 设 
计 方 和 案 ， 并 介绍 了 使 用 muduo 网 络 库 编 号 多 线程 服务 右 的 两 种 最 钊 用 手 
法 。 下 一 章 的 例子 展现 了 muduo 在 编写 单线 程 并 发 网 络 服务 程序 方面 的 
能 力 与 便捷 性 。 今 天 我 们 先 看 一 看 它 在 多 线程 方面 的 表现 。 本 市 代码 参 


见 : examples/sudoku/ 。 
6.6.1 数 独 求解 服务 此 


假设 有 这 么 一 个 网 络 编程 任务 : 写 一 个 求解 数 独 的 程序 (Sudoku 
Solver) ， 并 把 它 做 成 一 个 网 络 服务 。 

Sudoku Solver 是 我 豆 爱 的 网 络 编程 例子 ， 它 曾经 出 现在 “分 布 式 系 
统 部 音 、 监控 与 进程 管理 的 几 重 境 界 ” (89.8) 、“muduo Buffer 类 的 设 
计 与 使 用 ”(87.4) 、““ 多 线程 服务 器 的 适用 场合 , 例 释 与 答疑 ”(83. 6) 
这 处 ， 它 也 可 以 看 成 是 echo 服 务 的 一 个 变种 (附录 A“ 谈 一 谈 网 络 编程 学 

习 经 验 ” 把 echo 列 为 三 大 ICP 网 络 编 枉 案例 之 一 ) 。 

写 这 么 一 个 程序 在 网 络 编程 方面 的 难度 不 高 ， 跟 写 echo 服 务 震 不 多 

(从 网 络 连接 谈 入 一 个 Sudoku 题 目 ， 算 出 答 条 ， 有 再 及 回 给 客户 ) ， 挑 战 


在 于 怎样 做 才能 及 挥 现 在 多 核 硬件 的 能 力 ? 在 谈 这 个 问题 之 前 ， 让 我 们 
先 号 一 个 基本 的 单线 程 版 。 


协议 


一 个 人 简 蛙 的 以 \rn 分 隔 的 文本 行 协 议 ， 使 用 TCP 长 连接 ， 客 户 六 在 
不 需要 服务 时 主动 断 开 连接 。 

请 求 : [id:]<81digits>\rn 

吧 应 : [id:]<81digits>\rn 

或 者 : [id:]NoSolution\rn 

其 中 [id:] 表 示 可 选 的 d， 用 于 区 分 先后 的 请 求 ， 以 支持 Parallel 
Pipelining， 啊 应 中 会 回 显 请 求 中 的 id。Parallel Pipelining 的 意义 见 赖 勇 
浩 的 《以 小 见 大 一 一 那些 基于 Protobuf 的 五 花 八 门 的 RPC (2) 》*， 或 
者 见 我 写 的 《分 布 式 系统 的 工程 化 开发 方法 》z 第 54 页 天 于 out-of-order 
RPC 的 介绍 。 

<81digits> 是 Sudoku 的 棋 禹 ，9x9 个 数字 ， 从 左上 角 到 右 下 角 按 行 扫 
摘 ， 未 知 数字 以 0 表示 。 如 果 Sudoku 有 和解 ， 那 么 啊 应 是 填 满 数字 的 模 
可 ;如 果 无 解 ， 则 返回 NoSolution。 

例子 1 ”请求 : 
00860000104000006000020000000000050407008000300001090000300400200050100000000806080\r\n 
oY: 
693784512487512936125963874932651487568247391741398625319475268856129743274836159\r\n 

例子 2 ” 请求: 
a:000000010400000000020000000000050407008000300001090000300400200050100000000806000NrNn 
中 应 : 
a:693784512487512936125963874932651487568247391741398625319475268856129743274836159\r\n 

例子 3 ”请 求 : 
b:000000010400000000020000000000050407008000300001090000360400200050100090000886085\r\n 


呆 应 :， b:NoSolution\rn 

基于 这 个 文本 协议 ， 我 们 可 以 用 telnet 模 拟 客户 六 来 测试 
SudokuSolver， 不 需要 单独 编写 Sudoku Client。Sudoku Solver 的 默认 端 
口号 是 9981， 因 为 它 有 9x9 三 81 个 格子 。 


基本 实现 


Sudoku 的 求解 算法 见 《 谈 谈 数 独 〈Sudoku) 》# 一 文 ， 这 不 是 本 文 
的 重点 。 假 设 我 们 已 丝 有 一 个 函数 能 求解 Sudoku， 它 的 原型 如 下 : 

string solveSudoku(const string& puzzle); 

函数 的 输入 是 上 文 的 “<81digits>”， 输 出 
是 “<81digits>” 或 “NoSolution”。 这 个 函数 是 个 pure function， 同 时 也 是 线 
程 安全 的。 

有 了 这 个 函数 ， 我 们 以 $6.4.2“echo 服 务 的 实现 ”中 出 现 的 EchoServer 
为 蓝本 ， 稍 加 修改 就 能 得 到 SudokuServer。 这 里 只 列 出 最 关键 的 
onMessage0 函 数 ， 完 整 的 代码 见 examples/sudoku/server_basic.cc 。 
onMessage0) 的 主要 功能 是 处 理 协议 格式 ， 并 调用 solveSudoku0 求 解 问 
题 。 这 个 函数 应 该 能 正确 处 理 TCP 分 包 。 


examples/sudoku/server_basic.cc 
const int kCells = 81: // 81 个 格子 


vold onMessage(tconst TcpConnectionPtr& conn, Buffer*x buf, Timestamp) 
i 
LOG_DEBUG << conn->name(): 
size_t len = buf->readableBytes(); 
while (len >= kCells + 2) // 反复 读 取 数据 ，2 为 回 车 换行 字符 
1 
const char* crlf = buf->findCRLF(); 
if (crlf) // 如 果 找 到 了 一 条 完整 的 请 求 
{ 
string request(buf->peek()，crlfy; /AAA 取出 请 求 
string 1Iq; 
buf->retrieveUntil(crlf + 2). 1/ retrieve 已 读 取 的 数据 
string: :iterator colon = find(request.begin(), reguyuest.end(}, : ); 
if (colon != request,end(Y) // 如 果 找 到 了 id 部 分 
{ 
ld.assign(request.begin(t), colon); 
request.erase(request.begin(}), colon+]1): 
} i 
if (request.size() == implicit_cast<size_t>(kCells)) // 请 求 的 长 度 合法 
t 
string result = solveSudoku(request): // 求解 数 独 ， 然 后 发 回响 应 
if (id.empty()) 
{ 


conn->send(result+"\r\n"); 
} 
else 


lL 
二 


} 

else // 非法 请 求 ， 断 开 和 连接 
conn->send{("Bad Request!\r\n"); 
conn->shutdown(C): 


} 


1 
else // 请 求 不 完整 ， 退 出 消息 处 理 函 数 
{ 
break ; 
3 
] 
} 


conn->send(id+":"+result+"\r\n"):; 


examples/sudoku/server_basic.cc 


server_basic.cc 是 一 个 并 发 服务 器 ， 可 以 同时 服务 多 个 客户 连接 。 但 
是 它 是 单线 程 的 ， 无 法 发 挥 多 核 硬 件 的 能 
Sudoku 是 一 个 计算 密集 型 的 任务 〈 见 87.4 中 关于 其 性 能 的 分 析 ) ， 


其 瓶颈 在 CPU。 为 了 让 这 个 单线 程 server basic 程序 充分 利用 CPU 资源 ， 
一 个 商 单 的 办 法 是 在 同一 全 机 右上 部 普 多 个 server_basic 进 程 ， 让 每 个 进 
程 占 用 不 同 的 问 口 ， 比 如 在 一 合 8 核 机 器 上 部 普 8 个 server_basic 进 程 ， 分 
别 占用 9981，9982，...，9988 端 口 。 这 样 做 其 实 是 把 难题 推 给 了 客户 
咒 ， 因 为 客户 问 ($) 要 目 己 做 负载 均衡 。 册 想 得 远 一 点 ， 在 8 个 
server basic 前 面部 署 一 个 load balancer? 似乎 小 题 大 做 了 。 

能 不 能 在 一 个 问 口 上 提供 服务 ， 并 且 又 能 发 挥 多 核 处 理 需 的 计算 能 
力 昵 ? 当然 可 以 ， 办 法 不 止 一 种 。 


6.6.2 第 见 的 并 友 网 络 服 务 程 序 设 计 方 有 


W. Richard Stevens 的 《UNIX 网 络 编程 (第 2 版 ，》 第 27 间 “Client- 
Server Design Alternatives” 介 绍 了 十 来 种 当时 〈20 世 纪 90 年 代 来 ) 流行 
的 编写 并 发 网 络 程序 的 方案 。[UNP] 第 3 版 第 30 章 ， 内 容 未 变 ， 还 是 这 几 
种 。 以 下 简称 UNP CSDA 方 案 。[UNP] 这 本 书 主 要 讲解 阻塞 式 网 络 编 
程 ， 在 非 阻 竖 方 面 者 琶 不 多 ， 仅 有 一 草 。 正 确 使 用 non-blocking IO 需要 
考虑 的 问题 很 多 ， 不 适宜 直接 调用 Sockets API， 而 需要 一 个 功能 完善 的 
网 络 库 文 撑 。 

随 着 2000 年 前 后 第 一 次 互联 网 浪潮 的 兴起 ， 业 界 对 高 并 发 HTTP 服 
务 右 的 强烈 需求 大 大 推动 了 这 一 领域 的 研究 ， 目 前 高 性 能 httpd 普 明 采 用 
的 是 时 线程 Reactor 方 式 。 男 外 一 个 说 法 是 IBM Lotus 使 用 TCP 长 连接 协 
议 ， 而 把 Lotus 服 务 妆 移植 到 Linux 的 过 程 中 IBM 的 工程 师 们 大 大 提高 
Linux 内 核 在 处 理 并 发 连接 方面 的 可 伸缩 性 ， 因 为 一 个 公司 可 能 有 上 万 
人 同时 上 线 ， 连 接 到 同一 人 台 跑 痢 Lotus Server 的 Linux 服 务 壤 。 

可 伸缩 网 络 编程 这 个 领域 其 实 近 十 年 来 没什么 新 东西 ，POSA2 已 经 
进行 了 相当 全 面 的 总 结 ， 另 外 以 下 几 扁 文章 也 值得 参考 。 


http://bulk.fefe.de/scalable-networking.pdf 
http://www.Kegel.com/c1Ok.html 
http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf 


表 6-1 是 笔者 总 结 的 12 种 常见 方案 。 其 中 “互通 ” 指 的 是 如 果 开 发 chat 
服务 ， 多 个 客户 连接 之 间 是 否 能 方便 地 交换 数据 (chat 也 是 附录 人 A 中 举 
的 三 大 ITCP 网 络 编程 案例 之 一 ) 。 对 于 echo/httpd/Sudoku 这 类 “连接 相互 
独立 ”的 服务 程序 ， 这 个 功能 无 足 轻 重 ， 但 是 对 于 chat 类 服务 却 至 关 重 
要 。“ 顺 序 性 * 指 的 是 在 httpd/Sudoku 这 类 请 求 响应 服务 中 ， 如 果 客 户 连 
接 顺 序 发 送 多 个 请 求 ， 那 么 计算 得 到 的 多 个 啊 应 是 否 按 相同 的 顺序 发 还 
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accept+read/write 
| accept+fork 
| accept+thread 
| pre threaded 
| poll (reactor) 

reactor + thread-per-task | 无 
| reactor + worker thread 
| reactor + thread poll 
reactors in threads 

reactors in processes 

reactors + thread pool 





UNP CSDA 方 案 归 入 0 一 5。 方 案 5 也 是 目前 用 得 很 多 的 单线 程 
Reactor 方 案 ，muduo 对 此 提供 了 很 好 的 文 持 。 方 案 6 和 方案 7 其 实 不 是 实 


用 的 方案 ， 只 是 作为 过 渡 品 。 方 案 8 和 方案 9 是 本 文 重点 介绍 的 方案 ， 其 
实 这 两 个 方案 已 经 在 83.3“ 多 线程 服务 右 的 第 用 编程 模型 ”中 提 到 过 ， 只 
不 过 当时 没有 用 具体 的 代码 示例 来 说 明 。 

在 对 比 各 方案 之 醒 ， 我 们 先 看 看 基本 有 的 micro benchmark 数 据 (前 两 
项 由 Thread_bench.cc 测 得 ， 第 三 项 由 BlockingQueue bench.cc 测 得 ， 硬 件 为 
E5320， 内 核 Linux 2.6.32) : 


-fork( )+exit(): 534.7Hs。 

pthread_create()+pthread_join(0: 42.5hs， 其 中 创建 线程 用 了 26.1hs。 

‘push/pop a blocking queue . 11.5hs。 

“Sudoku resolve: 100us“〈 根 据 题 目 难 度 不 同 ， 浮 动 范 围 20 一 
200hs) 。 


方案 0 ”这 其 实 不 是 并 发 服务 左 ， 而 是 iterative 服 务 磊 ， 因 为 它 一 次 
只 能 服务 一 个 客 尸 。 代 人 码 见 [UNP] 中 的 Figure 1.9，[UNP] 以 此 为 对 比 其 
他 方案 的 基准 点 。 这 个 方案 不 适合 长 连接 ， 倒 是 很 适合 daytime 这 种 
write-only 短 连接 服务 。 以 下 Python 代码 展示 用 方案 0 实现 echo server 的 大 
致 做 法 〈 本 和 章 的 Python 代码 均 没 有 考虑 错误 处 理 ) : 


recipes/python/echo-iterative,py 
import socket 


while True: 


3 

| 

5 def handle(client_socket, client_address): 
6 

7 data = Client_socket .recv dB96 ) 

3 


if data: 
9 sent = client_socket.send(data) # sendall: 
10 else: 
11 print “disconnect", client_address 
12 client_socket.close() 
13 break 
1]4 
15 if __nNname__ == "__Mmain__': 
16 listen_address = ("0@.0.0.8", 206007) 
17 server_socket = socket,socket(socket.AF_INET, socket.SOCK_STREAMY 
18 server_socket.bindr(listen_address) 
19 server_socket.listencs) 
20 
21 while True: 
22 (client_socket, client_address) = server_socket.accept() 
23 print “got connection from’', client_address 
24 handle(client_socket, client_address) 


recipes/python/echo-iterative.py 


L6~L13 是 echo 服 务 的 “业务 逻辑 人 循 二 ”， 从 L21~~L24 可 以 看 出 它 一 


次 只 能 服务 一 个 客户 连接 。 后 面 列举 的 方 采 都 是 在 保持 这 个 循环 的 功能 
不 变 的 情况 下 ， 设 法 能 高 效 地 同时 服务 多 个 客户 问 。L9 代 人 码 值得 商 椎 ， 
或 许 应 该 用 sendallO 函 数 ， 以 确 体 完 整地 发 回 数据 。 

方案 1 ”这 是 传统 的 Unix 并 发 网 络 编程 方案 ，[UNP] 称 之 为 child- 
per-client 或 fork()-per-client， 男 外 也 俗称 process-per-connection。 这 种 方 
案 适 合并 发 连接 数 不 大 的 情况 。 至 今 仍 有 一 些 网 络 服务 程序 用 这 种 方式 
实现 ， 比 如 PostgreSQL 和 和 Perforce 的 服务 六 。 这 种 方 宁 适合 “计算 啊 应 的 
工作 量 远 大 于 fork0O 的 开销 ”这 种 情况 ， 比 如 数据 库 服 务 左 。 这 种 方案 适 
0 但 不 太 适 合 短 连接 ， 因 为 forkO) 开 销 大 于 求解 Sudoku 的 用 
本 。 

Python 示例 如 下 ， 注 意 其 中 L9~L16 正 是 前 面 的 业务 逻辑 循环 ， 
self.request 代 件 了 前 面 的 client_socket。ForkingTCPServer 会 对 每 个 客户 
连接 新 建 一 个 子 进 程 ， 在 子 进程 中 调用 EchoHandler.handle()， 从 而 同时 
服务 多 个 客户 内。 在 这 种 编程 方式 中 ， 业 务 馆 辑 已 经 初步 从 网 络 框架 分 
房 出 来 ， 但 是 仍然 和 IO 紧 密 结合 。 

recipes/python/echo-fork.py 


1 #!/usr/bin/python 

2 

3 from SocketServer import BaseReguestHandler, TCPServyer 

4 from Socketserver import ForkingTiCPServer, ThreadingTCPServer 
5 

6 class EchoHandler(BaseRequestHandler): 

7 def handle(self): 

E print "got connection from", self.client_address 

9 while True: 

10 data = self.regquest.recv(4096) 

11 if data: 

12 sent = self.request.send(data) # sendall? 
13 else: 

14 print dsconnect ，self.client_address 

15 Self .regquest .close ) 

16 break 

17 

18 if __name__ == "__malin__": 

19 listen_address = ("8.608.080.0", 2007) 

20 server = ForkingTCcPServer(listen_address, EchoHandler) 
21 server.serve_forever() 


recipes/python/echo-fork.py 


方案 2 ”这 是 传统 的 Java 网 络 编程 方 采 thread-per-connection， 在 Java 
1.4 引 入 NIO 之 前 ，Java 网 络 服务 多 采用 这 种 方案 。 写 的 初始 化 开销 比方 
案 1 要 小 很 多 ， 但 与 求解 Sudoku 的 用 时 差不多 ， 仍 然 不 适合 短 连接 服 
务 。 这 种 方案 的 伸缩 性 党 到 线程 数 的 限制 ， 一 两 百 个 还 行 ， 几 千 个 的 话 
对 操作 系统 的 Scheduler 臣 介 是 个 不 小 的 负担 。 


Python 示例 如 下 ， 只 改动 了 一 行 代 码 。ThreadingTCPServer 会 对 每 
个 客 户 连 接 新 建 一 个 线程 ， 在 该 线程 中 调用 EchoHandler.handle0O)。 


$ diff -U2 echo-fork.py echo-thread .py 
if __name__ == "__main__": 
listen_address = (C0.0.0.0 ，2007) 
和 server = ForkingeTCPServer(listen_address, EchoHandler) 
让 server = ThreadingTCPServer(listen_address, EchoHandler) 
server.serve_forever() 


这 里 再 次 体现 了 将 “并 发 策略 ”与 业务 逻辑 (EchoHandler.handle()) 
分 离 的 思路 。 用 同样 的 思路 重 写 方案 0 的 代码 ， 可 得 到 ; 


$ diff -U2 echo-fork.py echo-single.py 
i .Name.... se Mmain  : 

listen_address = ("@.8.06.8", 2807) 
~ server = ForkinegTCPServer(listen_address, EchoHandler) 

4 server = TCcPServer(listen_address, EchoHandler) 
server.serve_forever tl) 

方 采 3 这 是 针对 方案 1 的 优化 ，[UNP] 详 细 分 析 了 几 种 变化 ， 包 括 
对 accept(2)* 惊 和 群 ? 问 题 (thundering herd〉 的 考虑 。 

方案 4 这 是 对 方案 2 的 优化 ，[UNP] 详 细 分 析 了 它 的 几 种 变化 。 方 
案 3 和 方案 4 这 两 个 方案 都 是 Apache httpd 长 期 使 用 的 方案 。 

以 上 几 种 方案 部 是 阻 竺 式 网 络 编程 ， 程 序 流程 〈thread of control ) 
通常 了 胆 睹 在 read() 上 ， 等 每 数据 到 达 。 但 是 TCP 是 个 全 双 工 协议 ， 同 时 
文 持 read0 和 write0) 操 作 ， 当 一 个 线程 / 进程 阻 哮 在 read() 上， 但 程序 叉 
想 给 这 个 TCP 连 接 发 数据 ， 那 该 怎么 办 ? 比如 说 echo client， 既 要 从 stdin 
谈 ， 又 要 从 网 络 谈 ， 当 程序 正在 阻 畦 地 恋 网 络 的 时 候 ， 如 何 处 理 键 往 输 
区 

又 比如 proxy， 既 要 把 连接 a 收 到 的 数据 发 给 连接 b， 又 要 把 从 b 收 到 
的 数据 发 给 8a， 那么 到 底 读 哪个 ? (proxy 是 附录 人 A 讲 的 三 大 TCP 网 络 编 
程 案 例 之 一 。) 

一 种 方法 是 用 两 个 线程 / 进程 ， 一 个 负责 谈 ， 一 个 负责 与 。[UNP] 
也 在 实现 echo client 时 介绍 了 这 种 方案 。8$7.13 举 了 一 个 Python 双 线 程 
TCP relay 的 例子 ， 另 外 见 Python Pinhole 的 代 伍 : 
http://code.activestate.com/recipes/114642/ 。 

另 一 种 方法 是 使 用 IO multiplexing， 也 就 是 selectpolyepolykqueue 这 
一 系列 的 “多 路 选择 器 >”， 让 一 个 thread of control 能 处 理 多 个 连接 。“IO 复 
用 ”其 实 复 用 的 不 是 IO 连接 ， 而 是 复 用 线程 。 使 用 selectypoll 几 乎 肯定 要 
配合 non-blocking IO， 而 使 用 non-blocking IO 肯定 要 使 用 应 用 层 buffer， 


原因 见 87.4。 这 了 融 不 是 一 件 轻松 的 事 儿 了 ， 如 有 果 每 个 程序 都 去 摘 一 爸 目 
己 的 IO multiplexing 机 制 〈 本 质 是 event-driven 事 件 驱 动 ) ， 这 是 一 种 很 
大 的 浪 颖 。 感 谢 Doug Schmidt 为 我 们 总 结 出 了 Reactor 模 式 ， 计 event- 
driven 网 络 编程 有 半 可 人 循 。 继 而 出 现 了 一 些 通 用 的 Reactor 框 染 / 库 ， 比 
如 libevent、muduo、Netty、twisted、POE 等 等 。 有 了 这 些 库 ， 我 想 基本 
人 去 编写 阻 壬 式 的 网 络 程 序 了 (特殊 情况 除外 ， 比 如 proxy 尝 量 限 

| ) 。 

这 里 先 用 一 小 段 Python 代 码 简 要 地 回顾 “以 IO multiplexing 方 式 实 现 
并 发 echo server 的 基本 做 法 2。 为 了 简单 起 见 ， 以 下 代码 并 没有 开局 
non-blocking， 也 没有 考虑 数据 发 送 不 完整 (L28) 等 情况 。 首 先 定 义 一 
个 从 文件 摘 述 符 到 socket 对 象 的 映射 〈L14) ， 程 序 的 主体 是 一 个 事件 循 
环 〈L15~L32) ， 每 当 有 IO 事件 发 生 时 ， 残 针对 不 同 的 文件 摘 述 符 

(fileno〉 执行 不 同 的 操作 (L16, L17) 。 对 于 listening fd， 接 受 
(accept) 新 连接 ， 并 注册 到 IO 事件 关注 列表 (watch list) ， 然 后 把 连 
接 添 加 到 connections 字 典 中 〈L18 一 23) 。 对 于 客户 连接 ， 则 读 取 并 回 
显 数据 ， 并 处 理 连 接 的 关闭 〈L24 一 L32) 。 对 于 echo 服 务 而 言 ， 真 正 的 
业务 馆 辑 只 有 L28: 将 收 到 的 数据 原样 发 回 客 户 病 。 


recipes/python/echo-poll.py 


Server_socket = SOCKet .SOCKet( SOCKet .AF_INET，SOCKet .SOCK_STREAM ) 


server_socket.setsockopt(socket.SOL_SOCKET, socket.S0O_REUSEADDR, 1) 
server_socket.bind((  ，260877) 1) 

server_socket.11isten(5) 

# Server_socket ,setblockIng(gy) 

poll = select.poll() # epoll0y should work the same 
poll.register(server_socket,.fileno(), select.POLLIN) 


connections = {} 
while True: 
events = poll.poll(18888) # 18 seconds 
for fileno, event in events: 
if fileno == server_socket.fileno(): 
(client_ socket, client_address) = server_socket.accept() 
print "got connection from", client_address 
# client_socket.setblockingt®) 
poll.register(client_socket.fileno(}Y, select.POLLIN) 
connections[client_socket.fileno(})] = client_socket 
elif event & select.POLLIN: 
client_socket = connections[fileno]j 
data = client_socket.recv(4096) 
if data: 
client_socket.send(data) # sendall() partial?: 
else: 
poll .unregister(fileno) 
client_socket.close() 
del connections[fileno] 
- recipes/python/echo-poll.py 


注意 以 上 代码 不 是 功能 完善 的 IO multiplexing 范 本 ， 它 没有 考虑 错 


误 处 理 ， 也 没有 实现 定时 功能 ， 而 且 只 适合 侦 听 (isten) 一 个 病 口 的 网 
络 服务 程序 。 如 宁 需 要 侦 听 多 个 哨 口 ， 或 者 要 同时 扮演 客户 站， 那么 代 
但 的 结构 需要 推倒 重 来 。 


这 个 代 人 码 骨 架 可 用 于 实现 多 各 TCP 服务器 。 例 如 写 一 个 聊天 服务 只 


需 改动 3 行 代码 ， 如 下 所 示 。 业 务 逻 辑 是 L28 一 30: 将 本 连接 收 到 的 数 
据 转 发 给 其 他 客户 连接 。 


$ diff echo-poll.py chat-poll.py -U4 
--- echo-poll.py 2012-08-20 08:50:49.000000000 +0800 
+++ chat-poll.py 2012-08-20 08:50:49.000000000 +0800 


23 elif event & select.POLLIN: 

24 Clientsocket = ConnmectlionslLf1llenoj 

25 data = clientsocket.recv(4096) 

26 1f data: 

2 clientsocket.send(data) # sendall{() partial? 

28 + for (fd, othersocket) in connections.1iteritems(): 
29 + if othersocket != clientsocket: 

30 + othersocket ,send(data) # sendall(y) partial? 
31 else: 

32 poll .unreglster(fileno) 

33 clientsocket.closer() 

34 del] connections[fileno] 


但 是 这 种 把 业务 旬 辑 隐 蔬 在 一 个 大 循环 中 的 做 法 其 实 不 利于 将 来 功 
能 的 扩展 ， 我 们 能 不 能 谅 法 把 业务 锡 辑 抽取 出 来 ， 与 网 络 基础 代码 分 离 


呢 ? 

Doug Schmidt 指 出 ， 其 实 网 络 编程 中 有 很 多 是 事务 性 (routine) 的 
工作 ， 可 以 提取 为 公用 的 框架 或 库 ， 而 用 户 只 圾 要 填 上 天 键 的 业务 逻辑 
代 伺 ， 并 将 回调 注册 到 框架 中 ， 束 可 以 实现 完整 的 网 络 服 务 ， 这 正 古 
Reactor 模 式 的 主要 思想 。 

如 果 用 传统 Windows GUI 消息 循环 来 做 一 个 兴 比 ， 那 么 我 们 前 面 展 
示 IO multiplexing 的 做 法 相当 于 把 程序 的 全 部 馆 辑 都 放 到 了 窗口 过 程 

(WndProc) 的 一 个 巨大 的 switch-case 语 句 中 ， 这 种 做 法 无 疑 是 不 利于 
扩展 的 。〈 各 种 GUI 框 染 在 此 各 显 神 通 。) 
LRESULT CALLBACK WndProcCHWND hwnd, UINT message, WPARAM wParam, LPARAM lParam) 
{ 


switch (message) 


1 
2 

3 

a 

5 case WM_DESTROY: 

6 PostQulitMessage(@); 
7 return @; 

8 // many more cases 
9 

0 

1 


return DefWindowProc (hwnd, message, wParam, lParam) : 


} 


而 Reactor 的 意义 在 于 将 消息 (IO 事件 ) 分 发 到 用 户 提 供 的 处 理 函 
数 ， 并 你 持 网 络 部 分 的 通用 代码 不 变 ， 独 并 于 用 户 的 业务 逻辑 。 

单线 程 Reactor 的 程序 执行 顺序 如 图 6-11《〈“ 左 图 ) 所 示 。 在 没有 事件 
的 时 候 ， 线 程 等 竺 在 selectpollyepoll_wait 等 函数 上 。 事 件 到 达 后 由 网 络 


1 
1 


库 处 理 ID， 再 把 消息 通知 〈 回 调 ) 客户 端 代 公 。Reactor 事 件 循环 所 在 的 
线程 通 第 叫 IO 线 程 。 通 篆 由 网 络 库 负责 谈 与 Socket， 有 用户 代 但 负载 解 


伍 、 Ls 


注意 由 于 只 有 一 个 线程 ， 因 此 事件 是 顺序 处 理 的 ， 一 个 线程 同时 只 


能 做 一 件 事情 。 
为 从 po 返回 之 后 ?到 “下 一 次 调用 poll 进 


在 这 种 协作 式 多 任务 中 ， 事 件 的 优先 级 得 不 到 你 证 ， 
等 待 之 前 ”这 段 时 间 内 ， 线 程 


不 会 和 极其 他 连接 上 的 数据 或 事件 抢占 《〈 见 图 6-11 的 右 图 ) 。 如 果 我 们 想 
要 延迟 计算 《〈 把 compute0) 推 迟 100ms) ， 那 么 也 不 能 用 SleepO 之 类 的 阻 
蹇 调用 ， 而 应 该 注册 超时 回调 ， 以 避免 阻塞 当 前 IO 线程 。 
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基本 的 单线 程 Reactor 方 案 〈 见 向 6-11) ， 即 前 面 的 


server_basic.cc 程序 。 本 文 以 它 作 为 对 比 其 他 方案 的 基准 点 。 这 种 方案 的 


优点 是 由 网 络 库 搞定 数据 收发 ， 程 序 只 关心 业务 馆 辑 ;缺点 在 前 面 已 经 
谈 了 : 适合 IO 密 集 的 应 用 ， 不 大 适合 CPU 密 集 的 应 用 ， 因 为 较 难 发 挥 多 
核 的 威力 。 男 外 ， 与 方 采 2 相 比 ， 方 采 5 处 理 网 络 消 居 的 延 人 运 可 能 要 上 略 大 
一 些 ， 因 为 方案 2 直接 一 次 read(2) 系 统 调 用 束 能 拿 到 请 求 数据 ， 而 方案 5 
要 先 poll(2) 再 read(2)， 多 了 一 次 系统 调用 。 

这 里 用 一 小 段 Python 代码 展示 Reactor 模 式 的 雏形 。 为 了 节省 篇 幅 ， 
这 里 直接 使 用 了 全 局 变量 ， 也 没有 处 理 寞 汕 。 程 序 的 核心 仍然 是 事件 循 
环 〈L42 一 L46) ， 与 表面 不 同 的 是， 事件 的 处 理 通 过 handlers 转 发 到 各 
个 函数 中 ， 不 再 集中 在 一 过。 例如 listening fd 的 处 理 函 数 是 
handle_accept， 它 会 注册 客户 连接 的 handler。 普 通 客 户 连 接 的 处 理 函 数 
古 handle_request， 其 中 又 把 连接 断 开 和 数据 到 达 这 两 个 事件 分 开 ， 后 者 
由 handle input 处理。 业务 馆 辑 位 于 单独 的 handle_input 函 数 ， 实 现 了 分 
疝 。 


recipes/python/echo-reactor.py 


server_socket = socket,socket(socket.AF_INET, socket.SOCK_STREAM) 


server_socket.setsockopt(socket. SOL_SOCKET, socket.SO_REUSEADDR, 1) 
server_socket.bind(C’'", 2807)) 

server_socket.1listen(s) 

# serversocket.setblocking(®) 


poll = select.poll(Y # epoll(y should work the same 
connections = {} 
handlers = {} 


def handle_input(socket, data): 
socket.send(data) # sendall() partial? 


def handle_request(fileno, event): 
if event & select,.POQLLIN: 

client_socket = connections[fileno] 

data = client_socket.recv(t4096) 

if data: 
handle_input(client_socket, data) 

el se: 
poll.unregister(fileno) 
client_socket.closef() 
del connections[fileno] 
del handlersLfilenoj 


def handle_accept(fileno, event): 
(client_socket, client_address) = server_socket.accept() 
print "got connection from", client_address 
# client_socket.setblocking(@) 
poll.register(client socket.,fileno(}, select.POLLIN) 
connections[client_socket.fileno()] = client_socket 
handlers[client_socket.filenot)] = handle_request 


poll.register(server_socket.fileno(}), select.POLLIN) 
handlers[server_socket.fileno()] = handle_accept 


while True: 
events = poll.poll(18888) # 18 seconds 
for fileno, event in events: 
handler = handlers[fileno] 
handler(fileno, event) 
recipes/python/echo-reactor.py 


如 果 要 改 成 聊天 服务 ， 重 新 定义 handle_input 函 数 即 可 ， 程 序 的 其 余部 
分 你 持 个 变 。 


$ diff echo-reactor .py chat-reactor .py -UI1 
def handle_input(socket, data): 
- socket.send(data) # sendall(y partial? 
+ for (fd, other_socket}) in connections.iteritems(): 
+ if other_socket != SOCKet: 
+ other_socket .send(tgqata) # sendall() partial?: 


必须 说 明 的 是 ， 完 善 的 非 阻塞 IO 网 络 库 远 比 上 面 的 玩具 代码 复杂 ， 
需要 考虑 各 种 钳 误 场景 。 特 别 是 要 真正 接管 数据 的 收发 ， 而 不 是 像 上 面 
的 示例 那样 直接 在 事件 处 理 回 调 函 数 中 发 送 网 络 数据 。 

注意 在 使 用 非 阻 和 时 IO 十 事件 驱动 方式 编程 的 时 候 ， 一 定 要 注意 避免 
在 事件 回调 中 执行 耗 时 的 操作 ， 包 括 阻 嘻 1O 和 等， 人 否则 会 影 啊 程 序 的 啊 
应 。 这 和 Windows GUI 消息 循环 非常 类 似 。 

方案 6 ”这 是 一 个 过 波 方 荣 ， 收 到 Sudoku 请 求 之 后 ， 不 在 Reactor 线 
程 计算 ， 而 是 创建 一 个 新 线程 去 计算 ， 以 充分 利用 多 核 CPPU。 这 是 非 委 
初级 的 多 线程 应 用 ， 因 为 它 为 每 个 请 求 〈 而 不 是 每 个 连接 ) 创建 了 一 个 
新 线程 。 这 个 开销 可 以 用 线程 池 来 避免 ， 即 方案 8。 这 个 方案 还 有 一 个 
特点 是 out-of-order， 即 同时 创建 多 个 线程 去 计算 同一 个 连接 上 收 到 的 多 
个 请 求 ， 那 么 算出 结果 的 次 序 是 不 确定 的 ， 可 能 第 2 个 Sudoku 比 较 简 
单 ， 比 第 1 个 先 算 出 结果 。 这 也 是 我 们 在 一 开始 设计 协议 的 时 候 使 用 了 
id 的 原因 ， 以 便 客 户 端 区 分 response 对 应 的 是 哪个 request。 

方案 7 ”为 了 让 返回 结果 的 顺序 确定 ， 我 们 可 以 为 每 个 连接 创建 一 
个 计算 线程 ， 每 个 连接 上 的 请 求 固定 发 给 同一 个 线程 去 算 ， 先 到 先 得 。 
这 也 是 一 个 过 小 方案 ， 因 为 并 友 连 接 数 受 限 于 线程 数目 ， 这 个 方案 或 许 
还 不 如 直接 使 用 阻塞 IO 的 thread-per-connection 方 案 2。 

方案 7 与 方案 6 的 另外 一 个 区 别 是 单个 client 的 最 大 CPU 占用 率 。 在 方 
案 6 中 ， 一 个 TCP 连 接 上 友 来 的 一 长 串 突 发 请 求 (burst requests) 可 以 占 
满 全 部 8 个 core; 而 在 方案 7 中 ， 由 于 每 个 连接 上 的 请 求 固定 由 同一 个 线 
程 处 理 ， 那 么 它 最 多 占用 12.5% 的 CPU 资源 。 这 两 种 方案 各 有 优 劣 ， 取 
决 于 应 用 场景 的 需要 《到底 是 公平 性 重要 还 是 突 发 性 能 重要 ) 。 这 个 区 
列 在 方案 8 和 和 方案 9 中 同样 存在 ， 需 要 根据 应 用 来 取舍 。 

方案 8 ”为 了 弥补 方案 6 中 为 每 个 请 求 创建 线程 的 缺陷 ， 我 们 使 用 
国定 大 小 线程 池 ， 程 序 结构 如 图 6-12 所 示 。 全 部 的 IO 工作 都 在 一 个 
Reactor 线 程 完成 ， 而 计算 任务 交 给 thread pool。 如 果 计 算 任 务 彼 此 独 
交 ， 而 且 IO 的 压力 不 大 ， 那 么 这 种 方案 是 非常 适用 的 。Sudoku Solver 正 
好 符合 。 代 码 参 见 : examples/sudoku/server threadpoolcc 。 
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图 6-12 


方案 8 使 用 线程 池 的 代码 与 单线 程 Reactor 的 方案 5 相 比 变化 不 大 ， 只 
是 把 原来 onMessage() 中 涉及 计算 和 友 回 啊 应 的 部 分 抽出 来 做 成 一 个 函 
数 ， 然 后 区 给 ThreadPool 去 计算 。 记 住 方案 8 有 乱 序 返回 的 可 能 ， 客 户 关 
要 根据 id 来 匹配 啊 应 。 


$ diff server_basic.cc server_threadpool.cc -=-Uu 


--- server_basic.cc :8012-04-20 20:19:56.000000000 +0800 
+++ server_threadpool.cc :00112-0606-10 22:15:02.000000000 +0800 
ae -96,16 +100 7 @@ vold onMessage(const TcpCconnectionPtr& conn, 
if (puzzle.size() == implicit_cast<size_t>(kCells)) 
{ 


- string resyult = solveSudoku(puzzle):; 
- if (id.empty()) 

{ 

conn->send (resuyult+"\r\n"Yy: 

} 

~ else 

3 . 


3 conn->send(id+":"+result+"\r\n"y: 


+ threadPool_.run(boost: :bind(&solve, conn, puzzle, id)); 


bh 
ee -114,17 +169 ,40 @@ 


static void solve(const TcpConnectionPtr& conn, 
const string& puzzle, 
const string& id) 


二 
中 
第 
十 
十 string result = solveSudoku(puzzle); 
+ if (id.empty()) 
和 环 
二 conn->send(result+"\r\n"): 
+ + 
+ else 
本 i 
+ conn->send(id+":"+result+"\r\n"); 
+ } 
+ 
十 
EventLoopx loop_; 
TCpServer server_; 
+ ThreadPool threagdPool_; 
Timestamp start1iime_.: 


上 
线程 池 的 另外 一 个 作用 是 执行 阻 老 操作 。 比 如 有 的 数据 库 的 客户 端 


只 提供 同步 访问 ， 那 么 可 以 把 数据 库 但 询 放 到 线程 池 中 ， 可 以 避免 阻 紧 
IO 线 程 ， 不 会 影 啊 其 他 客户 连接 ， 束 像 Java Servlet 2.x 的 做 法 一 样 。 田 
外 也 可 以 用 线程 池 来 调用 一 些 阻 奢 的 IO 函数 ， 例 如 
fsync(2)/fdatasync(2)， 这 两 个 函数 没有 非 阻 嘻 的 版 本 >?。 

如 果 IO 的 压力 比较 大 ， 一 个 Reactor 处 理 不 过 来 ， 可 以 试 试 方案 9， 
它 采 用 多 个 Reactor 来 分 担负 载 。 

方案 9 ”这 古 muduo 内 置 的 多 线程 方案 ， 也 是 Netty 内 症 的 多 线程 方 
案 。 这 种 方案 的 特点 古 one loop per thread， 有 一 个 main Reactor 负 贡 
accept(2) 连 接 ， 人 然后 把 连接 挂 在 某 个 sub Reactor 中 〈muduo 采 用 round- 
robin 的 方式 来 选择 sub Reactor) ， 这 样 该 连接 的 所 有 操作 都 在 那个 sub 
ee 多 个 连接 可 能 被 分 派 到 多 个 线程 中 ， 以 充分 

j 用 CPU 。 

muduo 采 用 的 是 固定 大 小 的 Reactor pool， 池 子 的 大 小 通常 根据 CPU 
数目 确定 ， 也 就 是 说 线程 数 是 固定 的 ， 这 样 程 序 的 总 体 处 理 能 力 不 会 随 
连接 数 增加 而 下 降 。 另 外 ， 由 于 一 个 连接 完全 由 一 个 线程 管理 ， 那 么 请 
求 的 顺序 性 有 你 证 ， 突 发 请 求 也 不 会 占 满 全 部 8 个 核 〈 如 果 和 需要 优化 突 
及 请 求 ， 可 以 考虑 方案 11) 。 这 种 方案 把 IO 分 派 给 多 个 线程 ， 防 止 出 现 
一 个 Reactor 的 处 理 能 力 饱 和 。 

与 方 条 8 的 线程 池 相 比 ， 方 案 9 减 少 了 进出 thread pool 的 两 次 上 下 文 
切换 ， 在 把 多 个 连接 分 散 到 多 个 Reactor 线 程 之 后 ， 小 规模 计算 可 以 在 当 
前 IO 线 程 完 成 并 发 回 结果 ， 从 而 降低 啊 应 的 延 人 运 。 我 认为 这 是 一 个 适应 
性 很 强 的 多 线程 IO 模 型 ， 因 此 把 它 作 为 muduo 的 默认 线程 模型 ( 见 图 6- 
13) 。 
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图 6-13 


方案 9 代码 见 : examples/sudoku/server- multiloop.cc 。 它 与 
server_basic.cc 的 区 列 很 小 ， 最 关键 的 只 有 一 行 代码: 


server_.setThreadNum(numThreads); 


$ diff server_basic.cc server_multiloop.cc -up 
--- server_basic.cc 2011-86-15 13:40:59.000000000 +0800 
+++ server_multiloop.cc 2611-06-15 13:39:53.000000000 +0800 
ae -21,19 +21,22 @@ class SudokuServer 
- SudokuServer(EventLoop* loop, const InetAddress& listenAddr) 
+ SudokuServer(EventLoop* loop, const InetAddress& listenAddr, int numThreads) 
: loop_(loop), 
server_(loop, listenAddr, "SudokuServer"), 
startTime_(Timestamp: :now()) 
{ 
server_.setConnectionCallbackt 
boost::bind(&SudokuServer: :onConnection, this, _1)): 
server_.setMessageCallbackt 
boost: :bind(&SudokuServer: :onMessage, this, _1, _2, _3)): 
+ server_.setThreadNum(numThreads); 


} 


方案 10 ”这 是 Nginx 的 内 置 方 案 。 如 果 连 接 之 间 无 交互 ， 这 种 方案 
也 是 很 好 的 选择 。 工 作 进 程 之 间 相 互 独立 ， 可 以 热 升级 。 

方案 11 把 方案 8 和 方案 9 混合 ， 既 使 用 多 个 Reactor 来 处 理 IJO， 又 
使 用 线程 池 来 处 理 计 算 。 这 种 方案 适合 既 有 突 发 IO (利用 多 线程 处 理 多 
个 连接 上 的 IO) ， 又 有 突 发 计算 的 应 用 〈 利 用 线程 季 把 一 个 连接 上 的 计 
算 任 务 分 配给 多 个 线程 去 做 ) ， 见 图 6-14。 
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图 6-14 

这 种 方案 看 起 来 复杂 ， 其 实 写 起 来 很 简单 ， 只 要 把 方案 8 的 代码 加 
一 行 sServer_.setThreadNum(numThreads); 就 行 ， 这 里 就 不 举例 了 。 

一 个 程序 到 的 古 使 用 一 个 event loop 还 是 使 用 多 个 event loops 呢 ? 
ZeroMQ 的 手册 给 出 的 建议 是 s， 按 照 每 干 兆 比特 每 秒 的 否 吐 量 配 一 个 
event loop 的 比例 来 设置 event loop 的 数目 ， 即 
muduo::TcpServer::setThreadNum() 的 参数 。 依 据 这 条 经 验 规 则 ， 在 编写 
运行 于 于 兆 以 太 网 上 的 网 络 程序 时 ， 用 一 个 event loop 束 足以 应 付 网 络 
IO。 如 果 程 序 本 映 没 有 多 少 计 算 量 ， 而 主要 瓶 名 在 网 络 市 宽 ， 那 么 可 以 
按 这 条 规则 来 办 ， 只 用 一 个 event loop。 另 一 方面 ， 如 果 程 序 的 IO 带宽 
较 小 ， 计 算 量 较 大 ， 而 且 对 延 返 不 敏感 ， 那 么 可 以 把 计算 放 到 thread 
pool 中 ， 也 可 以 只 用 一 个 event loop。 

值得 指出 的 是 ， 以 上 假定 了 TCP 连 接 是 同 质 的 ， 没 有 优先 级 之 分 ， 
我 们 看 重 的 是 服务 程序 的 总 吞吐 量 。 但 是 如 果 TCP 连 接 有 优先 级 之 分 ， 
那么 单个 event loop 可 能 不 适合 ， 正 确 的 做 法 是 把 高 优先 级 的 连接 用 单独 


,walt 


的 event loop 来 处 理 。 

在 muduo 中 ， 属 于 同一 个 event loop 的 连接 之 则 没有 事件 优先 级 的 天 
别 。 我 这 么 设计 的 原因 是 为 了 防止 优先 级 反 转 。 比 方 说 一 个 服务 程序 有 
10 个 心跳 连接 ， 有 10 个 数据 请 求 连接 ， 都 归属 同一 个 event loop， 我 们 认 
为 心跳 连接 有 较 高 的 优 乞 级 ， 心 跳 连 接 上 的 事件 应 访 优 先 处 理 。 但 是 由 
于 事件 循环 的 特性 ， 如 果 数 据 请 求 连接 上 的 数据 先 于 心跳 连接 到 达 《〈 早 
到 1ms) ， 那 么 这 个 event loop 就 会 调用 相应 的 event handler 去 处 理 数据 
请 求 ， 而 在 下 一 次 epoll_waitO 的 时 候 再 来 处 理 心 跳 事 件 。 因 此 在 同一 个 
event loop 中 区 分 连接 的 优先 级 并 不 能 达到 预 息 的 效果 。 我 们 应 访 用 单独 
的 event loop 来 管理 心跳 连接 ， 这 样 束 能 避免 数据 连接 上 的 事件 阳 因 了 了 心 
跳 事 件 ， 因 为 它们 分 属 不 同 的 线程 。 


十 :五 
全 9 


我 在 83.3 曾 写 道 : 
忌 结 起 来 ， 我 推荐 的 C++ 多 线程 服务 问 编 程 模 式 为 : one loop per 
thread 二 thread pool。 


“event loop 用 作 non-blocking IO 和 定时 右 。 
thread poo] 用 来 做 计算 ， 其 体 可 以 是 任务 队列 或 生产 者 消费 者 队 
列 。 


当时 〈2010 年 2 月 ) 写 这 篇 博客 时 我 还 说 : “以 这 种 方式 与 服务 右 程 
序 ， 需 要 一 个 优质 的 基于 Reactor 模 式 的 网 络 库 来 支撑 ， 我 只 用 过 in- 
house 的 产品 ， 无 从 比较 并 推荐 市 面 上 稼 见 的 C++ 网 络 库 ， 抱 歉 。?” 

现在 有 了 muduo 网 络 库 ， 我 终于 能 够 用 具体 的 代码 示例 把 目 己 的 思 
想 完 整地 表达 出 来 了 了 。 归 纳 一 下 ， 实 用 的 方案 有 5 种 ，muduo 直 接 支持 
后 4 种 ， 见 表 6-2。 


表 6-2 





















































方案 ”名称 接受 新 连接 网 络 IO 计算 任务 

本 thread-per-connection 1 个 线程 N 线程 在 网 络 线程 进行 
5 时 线程 Reactor 1 个 线程 ”在 连接 线程 进行 ”在 连接 线程 进行 
8 ”Reactor + 线程 池 1 个 线程 ”在 连接 线程 进行 C2 线程 
9 one loop per thread 1 个 线程 Ci 线程 在 网 络 线程 进行 


11 one loop per thread + 线程 入 1 个 线程 Ci 线程 Cs 线程 


表 6-2 中 的 N 表 示 并 发 连 技 数目 ，C; 和 C, 是 与 连接 数 无 天 、 与 CPU 
数目 有 天 的 第 数 。 

我 再 用 银行 柜 合 办 理 业 务 为 比喻 ， 简 述 各 种 模型 的 特点 。 银 行 有 旋 
转 门 ， 办 理 业 务 的 客户 人 员 从 旋转 门 进出 〈IO) ; 银行 也 有 柜台 ， 客 户 
在 柜台 办 理 业 务 〈 计 算 ) 。 要 想 办 理 业 务 ， 客 户 要 先 通 过 旋转 门 进 入 银 
行 ; 办理 完 之 后 ， 客 户 要 再 次 通过 旋转 门 离开 银行 。 一 个 客户 可 以 办 理 
多 次 业务 ， 每 次 都 必须 从 旋转 门 进出 〈TCP 长 连接 ) 。 男 外 ， 旋 转 门 一 
次 只 允许 一 个 客户 通过 《无 论 进出 ) ， 因 为 read0/writeO 只 能 同时 调用 
其 中 一 个 。 

方案 5: 这 间 小 银行 有 一 个 旋转 门 、 一 个 柜台 ， 每 次 只 允许 一 名 客 
尸 办 理 业 务 。 而 且 当 有 人 在 办 理 业 务 时 ， 旋 转 门 是 锁 住 的 (计算 和 IO 在 
同一 线程 ) 。 为 了 维持 工作 效率 ， 银 行 要 求 客 户 应 该 尽快 办 理 业 务 ， 最 
好 不 要 在 取 蒜 的 时 候 打 电话 去 问 家 里 人 窒 公 ， 也 不 要 在 明 过 旋转 门 的 时 
候 停 下 来 系 鞋 市， 这 都 会 阻力 其 他 堵 在 门 外 的 客户 。 如 果 客 户 很 少 ， 这 
是 很 经 济 且 高 效 的 方案 ;但 是 如 果 场 地 较 大 多核 ) ， 则 这 种 布局 就 浪 
费 了 不 少 资 源 ， 只 能 并 发 〈concurrent) 不 能 并 行 (parallel) 。 如 果 确 
实 一 众 办 不 完 ， 应 该 离开 柜台 ， 到 门 外 等 看 ， 等 银行 明 知 再 来 继续 办 理 
(分 阶段 回调 ) 。 

方案 8: ”这 间 银 行 有 一 个 旋转 门 ， 一 个 或 多 个 柜台 。 银 行进 门 之 后 
有 一 个 队列 ， 客 户 在 这 里 排队 到 柜台 (线程 池 〉 办 理 业 务 。 即 在 单线 程 
Reactor 后 面 接 了 一 个 线程 池 用 于 计算 ， 可 以 利用 多 核 。 旋转 门 基本 是 不 
锁 虹 ， 随 时 痢 可 以 进出 。 但 是 排队 会 消耗 一 点 时 间 ， 相 比 之 下 ， 方 采 5 
中 客户 一 进门 惑 能 立刻 办 理 业 务 。 另 外 一 种 做 法 是 线程 季 里 的 每 个 线程 
有 日 己 的 任务 队列 ， 而 不 是 整个 线程 池 共 用 一 个 任务 队列 。 这 样 的 好 处 
Ee TR OR 
行 度 。 

方案 9: 这 间 大 银行 相当 于 包含 方案 5 中 的 多 家 小 银行 ， 每 个 客户 
进 大 门 的 时 候 束 个 固定 分 配 到 某 一 间 小 银行 中 ， 他 的 业务 只 能 由 这 间 小 
银行 办 理 ， 他 每 次 都 要 进出 小 银行 的 旋转 门 。 但 总 体 来 看 ， 大 银行 可 以 
同时 服务 多 个 和 铬 户 。 这 时 同样 要 求 办 理 业 务 时 不 能 空 等 (| 昌 窒 ) ， 人 否则 
会 影 啊 分 到 同一 间 小 银行 的 其 他 客户 。 而 且 必 要 的 时 候 可 以 为 VIP 客户 
单独 开 一 间或 几 间 小 银行 ， 优 先 办 理 VIP 业 务 。 这 中 方案 5 不 同 ， 当 普通 
客户 在 办 理 业 务 的 时 候 ，VIP 客 户 也 只 能 在 门 外 等 看 〈( 见 图 6-11 的 右 
图 ) 。 这 是 一 种 适应 性 很 强 的 方案 ， 也 是 muduo 原 生 的 多 线程 IO 模型 。 

方案 11 : 这 间 大 银行 有 多 个 旋转 门 ， 多 个 柜台 。 旋 转 门 和 柜 合 之 
间 没 有 一 一 对 应 关系 ， 客 户 进 大 门 的 时 候 束 被 固定 分 配 到 菜 一 旋转 门 中 
(奇怪 的 安排 ， 易 于 实现 线程 安全 的 IO， 见 $84.6) ， 进 入 旋转 门 之 后 ， 


有 一 个 队列 ， 客 户 在 此 排队 到 柜台 人 共 理 业务 。 这 种 方案 的 资源 利用 率 可 
能 比方 案 9 更 局 ， 一 个 客户 不 会 极 同 一 小 银行 的 其 他 各 户 阻 于 ， 但 延迟 
也 比方 案 9 略 大 。 


注 冬 

1 http://blog.csdn.net/Solstice/archive/2010/03/10/3 5364096.aspx 

2 这 个 名 字 的 由 来 见 我 的 一 篇 访谈 : http://www.oschina.net/question/28 61182 。 

3 ”代码 中 没有 显 式 调用 ， 而 是 在 L22 隐 式 调 用 。 

4 http://aurarchlinux.org/packages.php?lD=49251 

5 ”例如 Debian 5.0 Lenny、Ubuntu 8.04、CentOS 5 等 旧 的 发 行 版 。 

6 ”最 好 不 低 于 2.8 版 ，CentOS 6 自 带 的 2.6 版 也 能 用 ， 但 是 无 法 自动 识别 Protobuf 库 。 

7 核心 库 只 依赖 TR1， 示 例 代 人 码 用 到 了 其 他 Boost 库 。 

8 原因 是 在 分 布 式 系统 中 正确 安全 地 发 布 动 态 库 的 成 本 很 高 ， 见 第 11 章 。 

9 注意 ， 目 前 muduo-protorpc 与 Ubuntu Linux 12.04 中 通过 apt-get 安 装 的 Protobuf 编 译 需 无 
法 配合 ， 请 从 源码 编译 安装 Protobuf 2.4.1。 


10 ”Signal 也 可 以 通过 signalfd(2) 融 入 EventLoop 中 ， 见 muduo-protorpc 中 的 zurg slave 例 子 。 
http://www.cs.nott.ac.uk/~cah/G31ISS/Documents/NoSilverBullet.html 
这 两 个 中 文 术语 有 其 他 译 法 ， 我 选择 了 一 个 电子 工程 师 熟 悉 的 说 法 。 
http://redmine.lighttpd.net/Issues/show/210) 
http://download.lighttpd.net/lighttpd/security/lighttpd sa 2010 01.txt 
http://zedshaw.com/essays/programmer stats.html 
http://www.percona.com/files/presentations/VELOCITY2012-Beyond-the-Numbers.pdf 
http://gist.github.com/364985 
http://think-async.com/Asio/LinuxPerformancelmprovements 
http://libev.schmorp.de/bench.html 
reclpes/pingpong/libevent/run bench.sh 
http://lists.schmorp.de/pipermail/libev/2010g2/001041.html 
http://httpd.apache.org/docs/2.4/programs/ab.html 
http://redmine.lighttpd.net/projects/weighttp/wik! 
http://wiki.nginx.org/HttpEchoModule ， 配 置 文件 https://gist.github.com/1967026。 
http://www.zeromq.org/results:perf-howto 
http://blog.csdn.net/lanphaday/archive/2011/04/11/6316099.aspx 
http://blog.csdn.net/solstice/article/detalls/3950190 
http://blog.csdn.net/Solstice/archive/2008/02/153/2096209.aspx 
这 个 例子 参照 了 http://scotdoyle.com/python-epoll-howto.html#async-examples 。 
30 不 过 目前 Linux 和 内核 的 实现 仍然 会 阻塞 其 他 线程 的 磁盘 IO， 见 
http://antirez.com/post/fsync-different-thread- useless.html! 。 

31 http://www.zeromq.org/area:faq#toc3 

32 ”此 表 参 考 了 《Characteristics of multithreading models for high-performance IO driven 
network applications》 一 文 (http://arxiv.org/ftp/arxiv/papers/0909/0909.4934.pdf ) 。 
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第 7 章 muduo 编 程 示 例 


本 章 将 介绍 如 何 用 muduo 网 络 库 完成 常见 的 TCP 网 络 编 程 任务 。 内 
容 如 下 : 


1. [UNP] 中 的 五 个 简单 协议 ， 包 括 echo、daytime、time、discard、 
chargen 等 。 

2. 文件 传输 ， 示 沁 非 阻 蛙 TCP 网 络 程 序 中 如 何 完 整地 发 送 数 据 。 

3. Boost.Asio 中 的 和 示例， 包括 timer2 一 6、chat 等 。chat 实 现 了 TCP 
封包 与 拆 包 (codec) 。 

4. muduo Buffer class 有 的 设计 与 使 用 。 

5. Protobuf 编 码 解码 器 (codec) 与 消息 分 发 器 (dispatcher) 。 

6. 限制 服务 右 的 最 大 并 发 连接 数 。 

7. Java Netty 中 的 示例 ， 包 括 discard、echo、uptime 等 ， 其 中 的 
discard 和 echo 和 市 流量 统计 功能 。 

8. 用 于 测试 两 台 机 恬 的 往返 延 人 运 的 roundtrip。 

9. 用 timing wheel 跑 挥 空 闪 连接 。 

10. 一 个 基于 TCP 的 应 用 层 广播 hub。 

11. 云 风 的 串 并 转换 连接 服务 如 multiplexer， 及 其 日 动 化 测试 。 

12. socks4a 代 理 服 务 器 ， 包 括 简 单 的 TCP 中 继 (relay) 。 

13. 一 个 提供 短 址 服务 的 httpd 服 务 姨 。 

14. 与 其 他 库 的 集成 ， 包 括 UDNS、c-ares DNS、curl 等 等 。 


这 些 例子 都 比较 人 徐 单 ， 侯 辑 不 复杂 ， 代 码 也 很 香 ， 运 合 摘 取 关键 部 
分 放 到 博客 上 。 其 中 一 些 有 一 定 的 代表 性 与 针对 性 ， 比 如 “如 何 传输 完 
整 的 文件 ”估计 十 网 络 编程 的 初学 者 经 和 党 过 到 有 的 问题 。 请 注音，muduo 
是 设计 来 开 及 内 网 的 网 络 程 序 ， 它 没有 做 任何 安全 方面 的 加 强 措施 ， 如 
朱 用 在 公 了 网 上 可 能 会 受到 攻击 ， 在 后 面 的 例子 中 我 会 谈 到 这 一 点。 


7.1 五 个 徐 单 TCP 示 例 


本 市 将 介绍 刁 个 简 竺 TCP 网 络 服务 程序 ， 包 括 echo (RFC 862) 、 
discard (RFC 863) 、chargen (RFC 864) 、daytime (RFC 867) 、 
time (RFC 868) 这 五 个 协议 ， 以 及 time 协 议 的 客户 端 。 各 程序 的 协议 简 


介 如 下 。 


“discard: 丢 径 所 有 收 到 的 数据 。 

daytime: 服务 新 accept 连 接 之 后 ， 以 字符 串 形式 发 计 当 前 时 间 ， 然 
后 主动 断 开 连接 。 

time: 服务 问 accept 连 接 之 后 ， 以 二 进 制 形式 发 送 当 前 时 间 〈( 从 
Epoch 到 现在 的 秒 数 ) ， 然 后 主动 断 开 连接 ; 我 们 需要 一 个 客户 程序 来 
把 收 到 的 时 间 转 换 为 字符 串 。 

“echo: 回 显 服务 ， 把 收 到 的 数据 发 回 客 户 病 。 

chargen: 服务 靖 accept 连 接 之 后 ， 不 停 地 发 达 测 试 数据 。 


以 上 五 个 协议 使 用 不 同 的 端口 ， 可 以 放 到 同一 个 进程 中 实现 ， 且 不 
必 使 用 多 线程 。 完 整 的 代码 见 muduo/examples/simple 。 


discard 


discard 丽 介 算是 最 简单 的 长 连接 TCP 应 用 层 协 议 ， 它 只 需要 关注“ 三 
个 半 事 件 ” 中 的 “ 消 晨 / 数据 到 达 ” 事 件 ， 事 件 处 理 困 数 如 下 : 


一 examples/simple/discard/discard.cc 
33 wold DiscardServer::onMessage(const TcpConnectionPtr& conn, 
34 Bufferx buf ， 


35 Timestamp time) 

36 { 

37 string msg(buf->retrieveAllAsstring()): 

38 LOG_INFO << conn->name() << " discards ”<< msg.size() 
39 << ”bytes recelved at " << time.tosString(): 











examples/simple/discard/discard.cc 


与 前 面 此 处 的 echo 服 务 相 比 ， 除 了 省 略 namespace 外 ， 关 键 的 区 别 
在 于 少 了 L40: 将 收 到 的 数据 发 回 客 户 端 。 
剩 下 的 都 是 例行公事 的 代码 ， 此 处 从 略 ， 读 者 可 对 比 参考 echo 服 


务 。 


daytime 


二 A :二 个 半 事件 的 < ley Et 
中 


一 一 examplessImple/daytime/daytime:CC 
27 void DaytimeServer::onConnection(const TcpConnectionPtr& conn) 
28 荆 


29 LOG_INFO << “DaytimeServer - ”<< conn->peerAddress().toIpPort() << " -> " 
30 << conn->localAddress().toIlpPort(} << " 1s " 

31 <<x (conn->connected() ? UP : DOoWN ); 

32 if (conn->connected()) 

33 { 

34 conn->send(Timestamp: :now().,toFormattedstring() + Am ); 

35 conn->shutdownC): 

36 } 

37 } 


examples/simple/daytime/daytime.cc 


L34 发 送 时 间 字 从 串 ，L35 主 动 断 开 连 接 。 和 独 下 的 都 是 例行公事 的 
代码， 为 节省 态 幅 ， Rs 
用 netcat 扮 泗 客 户 凯 ， 运 行 结果 如 下 : 


$ ne 127.0.0.1 2013 
2011-02-02 03:31:26.622647 # 服务 器 退回 的 时 间 宇 特 事 ，UTC 时 区 


time 


time 协 议 与 daytime 极 为 类 似 ， 只 不 过 它 返 回 的 不 是 日 期 时 间 字 人 符 
串 ， 而 是 一 个 32-bit 整 数 ， 表示 从 1970- 01-01 00:00:00Z 到 现在 的 秒 数 。 
当然 ， 这 个 协议 有 “2038 年 问题 ?。 服 务 问 只 需要 关注 “三 个 半 事 件 ” 中 
的 “连接 已 建立 ?事件 ， 事 件 处 理 函 数 如 下 ; 
examples/simple/time/time.cc 


27 Vold TimeServer: :onConnection(const muduo: :net::TcpConnectionPtr& conn) 
28 {{ 


29 LOG_INFO << "TimeServer - ”<< conn->peerAddress().toIpPort() << " -> " 
30 << conn->localAddress().toIlpPort() << " is " 

31 << 【Conn=->connected() ” "UP"” : “DOWN )，; 

32 if (conn->connected()) 

33 { 

34 time_t now = ::tlime(NULL).: 

35 Int32_t be32 = sockets::hostToNetwork32(static_cast<int32_t>(now)); 
36 conn->send(&be32, sizeof be32): 

37 conn-—>shutdown(); 

38 } 

39 } 


examples/simple/time/time.cc 


L34、L35 取 当前 时 间 并 转换 为 网 络 字 节 序 (Big Endian) ，L36 发 
送 32-bit 整 数 ，L37 主 动 断 开 连 接 。 剩 下 的 都 是 例行公事 的 代码 ， 为 市 省 
篇 幅 ， 此 处 从 略 。 

用 netcat 扮 省 客户 疹 ， 并 用 hexdump 来 打印 二 进 制 数据 ， 运 行 结 条 如 


下 : 
$ ne 127.0.0.1 2037 | hexdump = 上 
ooooooeoe 4d 48 d@ d5 IMHBO | 
time 客 户 端 

因为 tme 服 务 端 肥 这 的 是 二 进 制 数据 ， 人 不便 页 接 阅 读 ， 我 们 编写 一 
个 客户 疹 来 解析 并 打印 收 到 的 4 个 字 贡 数据 。 这 个 程序 只 需要 关注 “三 个 
半 事 件 ” 中 的 “消息 / 数据 到 达 ” 事 件 ， 事 件 处 理 函 数 如 下 : 


一 xamples/simple/timeclient/timeclient.cc 
53 Vold onMessage(const TcpConnectionPtr& conn，Buffer buf, Timestamp receliveTime) 


{ 
55 if (buf->readableBytes() >= silzeof (int32_t)) 


56 { 

57 const void* data = buf->peek():; 

58 int32_t be32 = *static_cast<const int32_t*>(data): 

59 buf->retrieve(sizeof (1nt32_t)): 

60 time_t time = sockets: :networkToHost32(be32); 

61 Timestamp ts(time * TImestamp::KMicrosecondsPerSecond 1) ; 

62 LOG_INFO << "Server time = ”<< time << ", " << ts.toFormattedSstring(); 
63 } 

64 else 

65 

56 LOG_INFO << conn->name() << ”no enough data ”<< buf->readableBytes() 
67 < at << receiveTime.toFormattedstrine(): 

68 } 


- examples/simple/timeclient/timeclient.cc 


注意 其 中 考虑 到 了 如 果 数 据 没 有 一 次 性 收 全 ， 己 经 收 到 的 数据 会 宗 
只 在 Buffer 里 (在 else 分 文 里 没有 调用 Buffer::retrieve* 系 列 疯 数 ) ， 以 等 
待 后续 数据 到 达 ， 程 序 也 不 会 阻塞 。 这 样 即 便服 务 器 一 个 字 节 一 个 字 节 
地 发 运 数 据 ， 代 码 还 是 能 正常 工作 ， 这 也 是 非 阻 埠 网 络 编程 必 须 在 用 户 
态 使 用 接收 缓冲 的 主要 原因 。 

这 是 我 们 第 一 次 用 到 TcpClient class， 完 整 的 代码 如 下 : 


examples/simple/timeclient/timeclient.cc 
17 class TimeClient : boost::noncopyable 


18 二 

19 public: 

20 TimeClient(EventLoop* loop, const InetAddress& serverAddr) 
21 : loop_(loop), 

22 client_(loop, serverAddr, "TimeClient”") 

23 { 

24 client_.setconnectionCcallbackt 

25 boost::bind(&TimeClient: :onConnection, this, _1)):; 
26 client_.setMessageCallbackt 

27 boost::bind(&TimeClient: :onMessage, this, _1, _2, _3)): 
28 // client_.enableRetry():; 

29 } 

30 

31 void connect() 

32 { 

33 client_.connectt): 

34 } 

35 

36 private: 

37 

38 EventLoop* loop_: 

39 TcpClient client_:; 

40 

41 void onConnection(const TcpConnectionPtré& conn) 

42 { 

43 LOG_INFO << conn->localAddresst).toIpPortt) << " -> " 
44 << conn->peerAddress().toIpPort() << " is ” 
45 << {conn->connected() ? “UP” : DOWN ); 

46 

47 if (lconn->connected()) 

48 { 

49 loop_->quit(): 

50 } 

51 } 


ee 就 退出 事件 循环 〈L82) ， 程 序 也 就 
ls 


72 int main(int argc, char* argvLJ]) 


75 if (argc > 1) 


{ 
74 LOG_INFO << "pid = ”<< getpidr): 


76 { 

77 EventLoop loop: 

78 InetAddress serverAddr(argv[1], 2837); 
19 

80 TimeClient timeClient(&loop, serverAddr).; 
81 timeClient.connect(): 

82 loop.100p():; 

83 } 

84 else 

85 { 

86 printf("Usage: %s host_ip\n”, argv[@]); 
87 + 

88 } 

89 


examples/simple/timeclient/timeclient.cc 


注意 TcpConnection 对 象 表示 “一 次 ”TCP 连 接 ， 连 接 断 开 之 后 不 能 
建 。TcpClient 重 试 之 后 新 建 的 连接 会 是 另 一 个 TcpConnection 对 象 。 
程序 的 运行 结果 如 下 (有 折 行 )， 假 设 time server 运 行 在 本 机 .: 


$ ./simple timeclient 127.0.0.1 


2011-02-02 @4:18:35.181717 
2811-02-02 8@4:19:35.183668 


2011-02-02 0@4:18:35.185178 
2011-02-02 0@4:18:35.185279 


2011-02-02 0@4:18:35.185354 


echo 


4296 INFO pid = 4296 - timeclient.cc:7]1 
4296 INFO TcpClient::connect[TimeClient] - 

connecting to 127.0.0.1:2037 - TcpClient.cc:60 
4296 INFO 127.0.0.1:409606 -> 127.0.08.1:2037 

is UP - timeclient.cce:39 
4296 TNFO Server time = 1296619835, 

2011-02-02 04:10:35.000008 - timeclient.cc:56 
4296 INFO 127.0.0.1:40960 -> 127.0.08.1:2037 

1s DOWN - timeclient,cc:39 


表面 几 个 协议 都 是 单 同 接收 或 及 送 数据 ，echo 征 我 们 遇 到 的 第 一 个 
双 同 的 协议 : 服务 器 把 客户 媚 肥 过 来 的 数据 原封 不 动 地 传 回 去 。 它 只 需 
要 关注 “三 个 半 事 件 ” 中 的 “消息 / 数据 到 这” 事件 ， 事 件 处 理 函 数 己 在 此 


处 列 出 ， 这 里 复制 一 过 


一 examples/simple/echo/echo.cc 
33 Vold Echoserver: :onMessagedtconst muduo: :net::TcpConnectionPtré& conn, 


34 muduo: :net: :Buffer* buf, 
35 muduo: :Timestamp time) 
36 +{ 


37 muduo: :string msg(buf->retrieveAllAsString()); 

38 LOG_INFO << conn->name() << ”echo ”<< msg.size() << " bytes, " 
39 << "data received at " << time.tostring(); 

40 conn->send(msg). 


examples/simple/echo/echo.cc 


这 上 段 代 码 实现 的 不 是 行 回 显 (ine echo) 服务 ， 而 是 有 一 点 数据 就 
发 运 一 点 数据 。 这 样 可 以 避免 客户 病 恶 意 地 不 发 送 换行 字符 ， 而 服务 病 
又 必须 缓存 已 经 收 到 的 数据 ， 导 致 服务 器 内 存 骏 涨 。 但 这 个 程序 还 是 有 
一 个 安全 汤 将 ， 即 如 果 客 户 闹 故意 不 断 发 运 数 据 ， 但 从 不 接收 ， 那 么 服 
务 痪 的 发 送 缓冲 区 会 一 直 扒 积 ， 导 致 内 存 骏 涨 。 解 决 办 法 可 以 参考 下 面 
的 chargen 协 议 ， 或 者 在 发 送 绥 冲 区 索 积 到 一 定 大 小 时 主动 断 开 连 接 。 一 
般 来 说 ， 非 阻 杜 网 络 编程 中 正确 处 理 数 据 发 送 比 接收 数据 要 困难 ， 因 为 
要 应 对 对 方 接收 缓慢 的 情况 。 

练习 1: 修改 EchoServer::onMessage0， 实 现 大 小 写 互 换 。 

练习 2: 修改 EchoServer::onMessage()， 实 现 ROT13 加 密 1。 


chargen 

Chargen 协 议 很 特殊 ， 它 只 发 运 数 据 ， 不 接收 数据 。 而 且 ， 它 发 壕 
数据 的 速度 不 能 快 过 客户 病 接 收 的 速度 ， 因 此 需要 天 注 “ 三 个 半 事 件 ” 中 
的 半 个 “消息 / 数据 发 送 完毕 ”事件 (onWriteComplete〉， 事 件 处 理 冰 数 
如 下 : 


一 exXamples/simple/chargen/chargen:Cc 
49 vold ChargenServer::onConnection(const TcpConnectionPtr& conn) 


51 LOG_INFO << “Chargenserver - ”<< conn->peerAddress().tolpPort() << " -> " 
52 << conn->localAddress().toIpPort() << ” is " 

53 << (conn->connected() ? "UP™” : "DOWN"). 

54 if (conn->connected()) 

55 { 

56 conn->setTcpNoDelay (true); 

57 conn->send(message_); 

58 } 

59 1} 

60 

61 Vold ChargenServer::onMessage(const TcpConnectionPtr& conn ， 
62 Buffer* buf ， 

63 Timestamp time) 

64 于 


65 string msg(buf->retrieveAllAsString()): 
56 LOG_INFO << conn->name() << " discards ”<< msg.size() 


67 << ”bytes recelved at ”<< time.toString(): 

68 } 

69 

70 void ChargenServer::onWriteComplete(const TcpconnectionPtr& conn) 
71 + 

72 transferred_ += messagpge_.size(): 

73 conn->send(message_): 

7174 } 


examples/simple/chargen/chargen.cc 


L57 在 连接 建 并 时 友 生 第 一 次 数据 ; L73 继 续 用 这 数据 。 剩 下 的 都 

2 > » SA 二 
是 例行公事 的 代码 ， 为 节省 篇 幅 ， 此 处 从 上 略 。 

完整 的 chargen 服 务 端 还 带 流 量 统计 功能 ， 用 到 了 定时 器 ， 我 们 会 在 
$7.8 介 绍 定时 器 的 使 用 ， 到 时 候 再 回头 来 看 相关 代码 。 

用 netcat 扮 沽 客户 响 ， 运 行 结果 如 下 : 
$ nc localhost 2819 | head 
1 ##$%& 【《)x+ — .0123456789: ;<=>?@ABCDEFGHIJKLMNOPORSTUVYWXAYZL\J*_“abcdefgh 
"#$%8" (K+ —./0123456789: :<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\J*_'abcdefghi 
#$%8 (x+ 一 76123456789: ;<=>?@ABCDEFGHIJKLMNOPORSTUVWXYZ[N\ 1*_ “abcdefghi] 
PR& CK+,—,. /0123456789:; ;<=>?@ABCDEFGHIJKLMNOPQORSTUVYWXYZ[\J]*_"abcdefghijk 
WR x+,—. /0123456789: ;<=>7?@ABCDEFGHIJKLMNOPQRSTUVYWXYZ[\]*_“abcdefghi]jkl 
&' (K+,—. /0123456789: ;<=>?@ABCDEFGHIJKLMNOPQOQRSTUVWXYZ[\J*_*abcdefghijklm 
‘(x+,-—,/0123456789: ;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\J*_*abcdefghijklmn 
CC)#+,—. /0123456789::;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\J*_'abcdefghijklmno 
)*+,—. /0123456789: ;<=>?@ABCDEFGHIJKLMNOPORSTUVWXYZL[L\J*_ abcdefghijklmnop 
*+ ,—. /0123456789: ;<=>?@ABCDEFGHIJKLMNOPORSTUVWXYZ[\J*_“abcdefghijklmnopq 


Se 


前 面 五 个 程序 都 用 到 了 EventLoop。 这 其 实 是 个 Reactor， 用 于 注册 
和 分 发 IO 事件 。muduo 送 循 one loop per thread 模 型 ， 多 个 服务 端 
CTcpServer) 和 客户 闫 〈TcpClient) 可 以 共享 同一 个 EventLoop， 也 可 
以 分 配 到 多 个 EventLoop 上 以 发 挥 多 核 多 线程 的 好 人 处。 这 里 我 们 把 五 个 
2 程序 还 是 单线 程 的 ， 功 能 却 强大 了 
很多: 


-examples/simple/allinone/allinone.cc 
13 1int main() 


14 
15 LOG_INFO << "pid = " << getpid(): 
16 EventLoop loop:; // one loop shared by multiple servers 


18 ChargenServer chargensServer(&loop, InetAddress(2819)); 
19 chargenServer. start(); 


六 DaytimeServer daytimeServer(&loop, InetAddress(2813)); 
22 daytimeserver.start(); 


24 DiscardServer discardSserver(&loop, InetAddress(t2009)).; 
25 discardServer. start(); 


27 EchoServer echoServer(&loop, InetAddress(t2087)); 


28 echoserver .start( ) ， 

2 日 

30 TimeServer timeServer(&loop, InetAddress(2037)): 
31 timeSserver. start( ) ; 

32 

33 loop.l1oo0p(): 

34 上} 


examples/simple/allinone/allinone.cc 


这 个 例子 充分 展示 了 Reactor 模 式 复 用 线程 的 能 力 ， 让 一 个 单线 程 程 
序 同 时 具备 多 个 网 络 服 务 功能 。 一 个 容易 想到 的 例子 是 httpd 同 时 侦 听 80 
端口 和 443 端 口 ， 另 一 个 例子 是 程序 中 有 多 个 TcpClient， 分 别 和 数据 
库 、Redis、Sudoku Solver 等 后 侣 服务 打 交道 。 对 于 初次 接触 这 种 编程 模 
型 的 谈 者 ， 值 得 跟踪 代码 运行 的 详细 过 程 ， 弄 清 茎 每 个 事件 每 个 回调 发 
生 的 时 机 与 条 件 。 

以 上 几 个 协议 的 消 明 格式 都 非常 人 简单， 没有 涉及 TCP 网 络 编程 中 禹 
见 的 分 包 处 理 ， 在 后 文 $7.3 讲 Boost.Asio 的 聊天 服务 器 时 我 们 再 来 讨论 


这 个 问题 。 


7.2 文件 传输 


本 节 用 发 送 文件 的 例子 来 说 明 TcpConnection::send() 的 使 用 。 到 日 
前 为 止 ， 我 们 用 到 了 TcpConnection::sendO) 的 两 个 重 载 ， 分 别 是 
send(const string&)’: 和 send(const void* message, size_t len):。 

TcpConnection 目 前 提供 了 三 个 send0O 重 载 函 数 ， 原 型 如 下 。 


muduo/net/TcpConnection.h 
i 
/it TCP connection, for both client and server Usage. 
A 
class TcpConnection : boost::noncopyable, 
public boost::enable_shared_from_this<TcpConnection> 


public: 


vold send(const voild* message, slze_t len); 

vold send(const StringPlece& message): 

vold send(Buffer*x message); // this one might swap data without copying 
上 /void send(Buffer&& message): // C++11 

/i vold send(string&& message): // C++11 


muduo/net/TcpConnection.h 


在 非 阻 覆 网 络 编程 中 ， 用 送 消息 通 冲 是 由 网 络 库 完 成 鸭 ， 用 户 代 码 
不 会 直接 调用 write(2) 或 send(2) 等 系统 调用 。 原 因 见 此 处 “TcpConnection 
必须 要 有 output buffer”。 在 使 用 TcpConnection::sendO 时 值得 注意 的 有 几 


e@ 
4 e 


Send0O 的 返回 类 型 是 void， 意 味 独 用户 不 必 天 心 调用 send0 时 成 功 发 
运 了 多 少 字 方 ，muduo 库 会 保证 把 数据 发 送 给 对 方 。 

sendO 古 非 阻 至 的 。 意 味 看 客户 代码 只 演 把 一 条 消 居 准备 好 ， 调 用 
send0) 来 有 发送 ， 即 便 TCP 的 发 送 窗口 满 了 了 ， 也 绝对 不 会 阻 星 当 前 调用 线 


程 。 

“send0) 是 线程 安全 、 原 子 的 。 多 个 线程 可 以 同时 调用 sendO)， 消 忌 
之 间 不 会 混 登 或 交织 。 但 是 多 个 线程 同时 发送 的 消息 (s) 的 先后 顺序 是 不 
确定 的 ，muduo 只 能 保证 每 个 消 晨 本 里 的 完整 性 :[。 男 外 ，send0O) 在 多 线 
程 下 仍然 古 非 阻 紧 的 。 

“send(const void* message, size_t len) 这 个 重 载 最 平淡 无 奇 ， 可 以 发 
这 任意 字 廊 序列 。 

“send(const StringPiece& message) 这 个 和音 载 可 以 发 六 std::string 和 
const char*， 其 中 StringPiece: 是 Google 发 明 的 专门 用 于 传 谴 字符 串 参 数 
的 class， 这 样 程 序 里 就 不 必 为 const char* 和 const std::string& 提 供 两 份 重 
载 了 。 


“send(Buffer*) 有 点 特殊 ， 它 以 指针 为 参数 ， 而 不 是 常见 的 const 引 
用 ， 因 为 函数 中 可 能 用 Buffer::swap(0 来 高 效 地 交换 数据 ， 避 免 内 存 捞 贝 4 
， 起 到 类 似 C++ 右 值 引用 的 效果 。 

:如 果 将 来 文 持 C++11， 那 么 可 以 增加 对 右 值 引 用 的 重 载 ， 这 样 可 以 
用 move 语 义 来 避免 内 存 找 贝 。 


下 面 我 们 来 实现 一 个 有 发送 文 件 的 命令 行 小 工具 ， 这 个 工具 的 协议 很 
简单 ， 在 局 动 时 通过 命令 行 参数 指定 要 发 送 的 文件 ， 然 后 在 2021 奖 口 侦 
听 ， 每 当 有 新 连接 进来 ， 就 把 文件 内 容 完整 地 发 送 给 对 方 。 

如 末 不 考虑 并 及 ， 那 么 这 个 功能 用 netcat 加 重 定 癌 束 能 实现 。 这 里 
展示 的 版 本 更 加 健壮 ， 比 方 说 发 送 100MB 的 文件 ， 支 持 上 万 个 并 发 客户 
连接 ; 内存 消耗 只 与 并 发 连接 数 有 关 ， 跟 文件 大 小 无 和 天; 任何 连接 可 以 
在 任何 时 候 断 开 ， 程 序 不 会 有 内 存 汇 漏 或 朋 证 :。 

我 一 共 写 了 三 个 版 本 ， 代 码 位 于 examples/filetransfer 。 


1. 一 次 性 把 文件 恋 入 内 存 ， 一 次 性 调用 send(const string&) 友 送 完 
毕 。 这 个 版 本 满足 除了 “内 和 存 消 耗 只 与 并 友 连 接 数 有 关 ， 跟 文件 大 小 无 
天 ”之 外 的 健壮 性 要 求 。 

2. 一 块 一 块 地 友 运 文件 ， 减 少 内 存 使 用 ， 用 到 了 
WriteCompleteCallback。 这 个 版 本 满足 了 人 上述 全 部 健壮 性 要 求 。 

3.， 同 2， 但 是 采用 shared_ptr 来 管理 FILE*， 避 免 手 动 调 
用 ::fclose(3)。 


版 本 一 
在 建立 好 连接 之 后 ， 把 文件 的 全 部 内 容 谈 入 一 个 string， 一 次 性 调 


用 TcpConnection::send0O) 发 送 。 不 用 担心 文件 发 送 不 完整 。 也 不 用 担心 
send0) 之 后 立刻 shutdown0O 会 有 什么 问题 ， 见 下 一 市 的 说 明 。 


examples/filetransfer/download.cc 
const char* g_file = NULL: 


string readFile(const char* filename); // read file content to string 


void onConnection(const TcpConnectionPtr& conn) 


LOG_INFO << “FlileServer - ”<< conn->peerAddress().toIlpPort() << " =~> " 
<< conn->localAddress().toIpPort(y << " is " 
<< (conn->connectedc) ?了 "UP”: "DOWN"); 

if (conn->connected()) 

t 


LOG_INFO << "FileServer - Sending file " << g_file 
<< " to" << conn->peerAddress(),tolpPort(): 

string fileContent = readFile(g_file).; 

conn->send(fileContent}): 

conn->shutdown(): 

LOG_INFO << "FileServer - done”. 


上 
上 
int main(int argc，charx* argv[L]) 
f 
LOG_INFO << "pid = ”<< getpid(): 
if (argc > 1) 
{ 
g_file = argv[1]j: 
EventLoop loop; 
InetAddress listenAddr (2821); 
TcpServer server(&]loop, listenAddr, "FileServer”): 
server.setConnectionCcallback(onConnection); 
server.start(): 
loop. lo0p(): 
上 
else 
fprintf(stderr, "Usage: %s file_for_downloadine\n"”, argv[@]): 
+ 


examples/filetransfer/download.cc 


注意 每 次 建立 连接 的 时 候 我 们 都 去 重新 读 一 授 文件 ， 这 是 考虑 到 了 文 
件 有 可 能 和 极其 他 程序 修改 。 如 果 文 件 是 immutable 的 ， 整 个 程序 就 可 以 
共享 同一 个 fileContent 对 象 。 

这 个 版 本 有 一 个 明显 的 缺陷 ， 即 内 存 消 耗 与 (并 发 连接 数 x 文 件 大 
小 ) 成 正比 ， 文 件 越 大 内 存 消 耗 越 多 ， 如 果 文 件 大 小 上 GB， 那 几乎 束 
是 灾难 了 。 只 需要 建立 少量 并 发 连接 束 能 把 服务 器 的 内 存 耗 入， 因此 我 


们 有 了 版 本 二 。 


版 本 二 


为 了 解决 版 本 一 占用 内 存 过 多 的 问题 ， 我 们 采用 流水 线 的 思路 ， 妆 
新 建 连接 时 ， 先 发 送 文件 的 前 64KiB 数 据 ， 等 这 块 数 据 发 送 完 毕 时 再 继 
续 友 到 下 64KiB 数 据 ， 如 此 往复 下 人 到 文件 内 容 全 部 友 达 完毕 。 代 个 中 使 
用 了 TcpConnection::setContext() 和 getContext() 来 保存 TcpConnection 的 用 
户 上 下 文 (这 里 是 FILE*) ， 因 此 不 必 使 用 额外 的 
std::map<TcpConnectionPtr, FILE*> 来 记 住 每 个 连接 的 当前 文件 位 置 。 


15 
16 
18 
19 


examples/filetransfer/download2.cc 
const int kBufSize 
const char* g_file 


64*1024: 
NULL:; 


vold onconnectiontconst TcpConnectionPtr& conn) 


{ 

LOG_INFO << "FileServer -~- ”<< conn->peerAddress().tolpPort() << ” -> " 
<< conn->localAddress().toIpPort(yY << " is " 
<< (conn->connected(}) ? "UP” : “DOWN ); 

if (conn->connected()) 

{ 

LOG_INFO << “FileServer ~ Sending file ”<< g_file 
<< "to" << conn->peerAddress().toIpPort(): 
conn->setHighWaterMarkCallback(onHighWaterMark, kBufSize+]1); 
FILE* fp = ::fopentg_file, rb”): 
if (fp) 
{ 
COonn=->sSetLonteXt( 了 Py ; 
char buf[LKBufSizej]; 
size_t nread = ::fread(buf, 1, sizeof buf, fp); 
conn->send(buf, nread): 
} 
else 
{ 
conn->shutdown(): 
LOG_INFO << "FileServer - no such file”": 
} 

+ 

else 

t 

if (lconn->getCcontext() .emptyO)) 

{ 
FILE* fp = boost::any_cast<FILE*>(conn->getContext()); 
if (fp) 

: :fclose(fp): 

} 

} 

} 
} 


在 onWriteCompleteO 回 调 函 数 中 谈 取 下 一 英文 件数 据 ， 继 续 发 达 。 


56 Volid onWriteComplete(const TcpConnectionPtr& conn) 

57 二 

58 FILEx fp = boost::any_cast<FILE*>(conn->getContext()); 
59 char bufLKBufSizej]; 


60 size_t nread = ::fread(buf, 1, sizeof buf, fp): 
61 If (nread > 90) 

62 

63 conn->send(buf, nread); 

64 

65 else 


{ 
67 ::fclose(fp); 


68 fp = NULL ; 

59 conn->setContext (fp): 

70 conn=->shutdownt ) ; 

71 LOG_INFO << "FileServer - done ; 
72 二 

73 } 


examples/filetranster/downloadi.cc 


注意 每 次 建立 连接 的 时 候 我 们 都 去 重新 打开 那个 文件 ， 使 得 程序 中 
文件 摘 述 符 的 数量 翻 倍 〈 每 个 连接 占 一 个 socket fd 和 一 个 file fd) ， 这 是 
考虑 到 文件 有 可 能 被 其 他 程序 修改 。 如 果 文 件 是 immutable 有 的， 一 种 改 
进 措施 是 ， 整个 程序 可 以 共 阐 同一 个 文件 摘 述 符 ， 然 后 每 个 连接 记 住 目 
= 当前 的 偏 移 量 ， 在 onWriteCompleteO 回 调 函 数 里 用 pread(2) 来 读 取 数 

这 个 版 本 也 存在 一 个 问题 ， 如 果 客 户 并 故 意 只 发 起 连接 ， 不 接收 数 
据 ， 那 么 要 么 把 服务 占 进 程 的 文件 摘 述 从 耗 太 ， 要 么 占用 很 多 服务 病 内 
和 存 《 因 为 每 个 连接 有 64KiB 的 发 送 绥 冲 区 ) 。 解 决 办 法 可 参考 后 文 
87.7“ 限 制服 务 颖 的 最 大 并 友 连 接 数 ”和 87.10“ 用 timing wheel 跑 挥 空 几 连 
接 ”。 必 须 说 明 的 是 ，muduo 并 不 是 设计 来 编写 面 同 公 网 的 网 络 服务 程 
序 ， 这 种 服务 程序 需要 在 安全 性 方面 下 很 多 工夫 ， 我 个 人 对 此 不 在 行 ， 
我 更 关心 实现 内 网 (不 一 定 是 局 域 网 ) 的 高 效 服 务 程序 。 


版 本 三 


用 shared_ptr 的 custom deleter 来 减轻 资源 管理 负担 ， 使 得 FILE* 的 生 
命 期 和 TcpConnection 一 样 长 ， 代 人 码 也 更 人 简单 了 。 


examples/filetranster/download3.cc 
$ diff download2.cc download3.cc -U3 
const int kBufSize = 64*1824:; 
const char* g_file = NULL， 
+typedef boost::shared_ptr<FILE> FilePtr; 


vold onConnection(const TcpConnectionPtr& conn) 
{ 
G@ -29,7 +32,8 @@ 
FILE* fp = ::fopen(g_file, "rb"): 
if (fp) 
{ 
conn->setContext (fp): 
FilePtr ctx(fp, ::fclose): 
十 conn->setContext(ctx): 
char buf[kBufSize]: 
size_t nread = ::fread(buf, 1, sizeof buf, fp): 
conn->send(buf, nread): 
ee -40,33 +44,19 @@ 
LOG_INFO << “FileServer - no such file": 
上 
} 


- else 
总 if (lconn->getContext() ,empty y 


汉 FILE* fp = boost::any_cast<FILE*>(conn->getContext()); 
- if (fp) 


{ 
- : :fclose(fp)}): 
- 
上 
二 
} 


vold onWriteComplete(const TcpConnectionPtr& conn) 

{ 

- FILE* fp = boost::any_cast<FILE*>(conn->getContext()); 

+ const FilePtr& fp = boost::any_cast<const FilePtr&>(conn->getContext()): 
char buf[kBufSize]: 

- size_t nread = ::fread(buf, 1, sizeof buf, fp): 

+ size_t nread = ::fread(buf, 1, sizeof buf, get_pointer(fp)): 
if (nread > 9) 


conn->send(buf, nread): 


} 

已] Se 

{ 
= ‘::fclose(fp): 
fp = NULL: 


conn->setContext(fp); 
conn->shutdown(); 
[LOG INFO << "FileSserver 一 done"， 


examples/filetransfer/download3.cc 


以 上 代码 体现 了 现代 C++ 的 资源 官 理 思路 ， 即 无 须 手动 释放 资源 ， 
而 是 通过 将 资源 与 对 象 生 命 期 绑 定 ， 在 对 象 析 构 的 时 候 目 动 释放 资源 ， 
从 而 把 资源 官 理 转换 为 对 象 生 命 期 官 理 ， 而 后 者 古 早 已 解决 了 的 问题 。 
这 正 是 C++ 最 重要 的 编程 技法 : RAII。 


为 什么 TcpConnection::shutdown0 没 有 和 直接 关闭 TCP 连 接 
我 曾经 收 到 一 位 网 友 的 来 信 : “在 simple 的 daytime 示 例 中 ， 服 务 病 


主动 关闭 时 调用 的 是 如 下 图 数 序列 ， 这 不 是 只 是 藉 财 了 连接 上 的 与 操作 
吗 ， 尝 么 是 关 财 了 整个 连接 ? ” 


vold DaytimeServer: :onConnection(const muduo: :net::TcpConnectionPtr& conn) 
{ 
if (conn->connected()) 
{ 
conn->send(Timestamp: :now().toFormattedSstring() + "\n"). 
conn->shutdown(); // 调用 TcpConnection: :shutdown() 


} 
} 
vold TcpConnection: :shutdown() 
{ 
if (state_ == kConnected) 
{ 
setstate(kDisconnecting): 
// 调用 TcpConnection::shutdownInLoop() 
loop_->runInLoop(boost::bind(&TcpConnection: :shutdownInLoop, this)): 
} 
J 
void TcpConnection: :shutdownInLoop() 
loop_->assertInLoopThreadd): 
if (lchannel_->isWriting()) // 如 果 当 前 没有 发 送 数 据 
{ 
/i We are not writing 
socket_->shutdownWrite(); // 调用 Socket::shutdownWrite() 
+ 
} 
void Socket::shutdownWrite() 
{ 
sockets: :shutdownWrite(sockfd_)}); 
J 
volid sockets::shutdownWrite(int sockfd) 
f 
int ret = ::shutdown(sockfd, SHUT_WR):; 
/i 检查 错误 误 
} 
笔者 答复 如 下 : 
muduo TcpConnection 没 有 提供 close0， 而 只 提供 shutdownO， 这 人 么 
做 是 为 了 收 肥 数据 的 完整 性 。 


TCP 是 一 个 全 双 工 协 议 ， 同 一 个 文件 摘 述 符 既 可 旋 又 可 与 ， 
shutdownWrite() 关 闭 了 “号 * 方 同 的 连接 ， 保 留 了 “ 话 * 方 同 ， 这 称 为 TCP 


half-close。 如 果 直 接 close(socket fd)， 那 么 socket_ fd 就 不 能 读 或 写 了 。 

用 shutdown 而 不 用 close 的 效 末 和 是， 如 末 对 方 已 经 友 达 了 效 据 ， 这 些 
数据 还 “在 路 上 ”， 那 么 muduo 不 会 漏 收 这 些 数据 。 换 句 话说 ，muduo 在 
TCP 这 一 层面 解决 了 “ 当 你 打算 关闭 网 络 连 接 的 时 候 ， 如 何 得 知 对 方 古 
个 发 了 一 些 数据 而 你 还 没有 收 到 ? ”这 一 问题 。 当 然 ， 这 个 问题 也 可 以 
:ei 双方 商量 好 不 再 互 发 数据 ， 束 可 以 直接 汤 开 连 

也 就 是 说 muduo 把 “主动 天 闭 连 接 ” 这 件 事 情 分 成 两 步 来 做 ， 如 末 要 
ne 它 会 先天 本 地 “与 ”六 ， 等 对 方 天 闭 之 后 ， 再 关 本 

“ 卖 ” 病 。 

练习 : 阅读 人 代码， 回答“ 如 果 补 动 天 闭 连 接 ，muduo 的 行为 如 何 ? ” 

万 外 ， 如 有 果 当 前 output buffer 里 还 有 数据 疝 未 肥 出 的 话 ，muduo 也 不 
会 并 刻 调用 shutdownWrite， 而 是 等 到 数据 发 送 完毕 再 shutdown， 可 以 避 
人 免 对 方 漏 收 数 据 。 





muduo/net/TcpConnection.cc 
252 vold TcpConnection: :handleWrited) 
253 { 
254 loop_->assertIinLoopThreadr(): 
255 if (channel_->isWriting()) 
256 { 
257 ssize_t n = sockets: :write(channel_->fd(Y, ff 居 注 :为 什 各 只 配 一 演 有 了 
258 outputBuffer_.peek(), 
259 outputBuffer_.readableBytes()):; 
260 if (nm > ¢) 
261 
262 outputBuffer_.retrievetny ， 
263 if (outputBuffer_.readableBytes() == ©@) 
264 { 
265 channel_->disableWriting(): 
266 if (writeCompleteCallback_) 
267 { 
268 loop_->queuelnLoop(boost::bind(writeCompleteCallback_, 
269 shared_from_thiscC))): 
270 } 
271 If (state_ == kDisconnecting) 
272 
273 shutdownInLoopt(): 
274 } 
275 } 
276 } 
277 } 
278 } 
muduo/net/TcpConnection.ce 


muduo 这 种 关闭 连接 有 的 方式 对 对 方 也 有 要 求 ， 那 就 是 对 方 readO 到 0 
字 节 之 后 会 主动 关闭 连接 (无论 shutdownWirite() 还 是 close()) ， 一 般 的 
网 络 程 序 都 会 这 样 ， 不 是 什么 问题 。 当 然 ， 这 么 做 有 一 个 潜在 的 安全 漏 


洞 ， 万 一 对 方 故意 不 关闭 连接 ， 那 么 muduo 的 连接 束 一 直 半 开 看 ， 消 耗 
系统 资源 。 必 要 时 可 以 调用 TcpConnection:: handleClose() 来 强行 关闭 连 
接 ， 这 需要 将 handleCloseO 改 为 public 成 员 函 数 。 

完整 的 沅 程 见 图 7-1。 我 们 发 完了 数据 ， 于 是 shutdownWrite， 发 这 
TCP FIN 分 条 ， 对 方 会 读 到 0 字 市 ， 然 后 对 方 通 第 会 关闭 连接 。 这 样 
muduo 会 谈 到 0 字 节 ， 然 后 muduo 关 闭 连 搁 。 〈 思 考题 : 在 shutdown() 之 
后 ，muduo 回 调 connection callback 的 时 间 间 隔 大 约 是 一 个 round-trip 
time， 为 什么 ? ) 





Client TcpConnection Socket Local 
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图 7-1 


如 果 有 必要 ， 对 方 可 以 在 read0 返 回 0 之 后 继续 发 送 数据 ， 这 是 直接 
利用 了 half-close TCP 连 接 。muduo 不 会 漏 收 这 些 数 据 。 

那么 muduo 什 么 时 候 真 正 close socket 呢 ? 在 TcpConnection 对 象 析 构 
的 时 候 。TcpConnection 持 有 一 个 Socket 对 象 ，Socket 是 一 个 RAII 
handler， 它 的 析 构 函数 会 close(sockfd )。 这 样 ， 如 果 发 生 TcpConnection 
ey 那么 我 们 从 /proc/pid/fd/ 吏 能 找到 没有 关闭 的 文件 描述 符 ， 
更 于 三 饰 。 


muduo 在 read0 返 回 0 的 时 候 会 回调 connection callback，TcpServer 或 
TcpClient 把 TcpConnection 的 引用 计数 减 一 。 如 末 引 用 计数 降 到 堆 ， 则 表 
明 用 户 代 码 也 不 持 有 TcpConnection， 它 就 会 析 构 了 。 

参考 : 《TCP/IP 详 解 》[TCPv1] 18.5 节 “TCP Half-Close” 和 《UNIX 
网 络 编程 〈 第 3 版 ) 》[UNP] 6.6 节 “shutdown(0 〇 函数 ”。 

在 网 络 编程 中 ， 应 用 程序 友 送 数据 往往 比 接收 数据 简单 〈 实 现 非 阻 
埠 网 络 库 正 相 反 ， 发 送 比 接收 难 ) ， 下 一 蔬 我 们 再 谈 接 收 并 解析 消息 的 


7.3 ”Boost.Asio 的 聊天 服务 器 


本 市 将 介绍 一 个 与 Boost.Asio 的 示例 代码 中 的 聊天 服务 右 功 能 类 似 
的 网 络 服务 程序 ， 包 括 客 户 问 与 服务 问 的 muduo 实 现 。 这 个 例子 的 主要 
目的 是 介绍 如 何 处 理 分 包 ， 并 初步 涉及 muduo 的 多 线程 功能 。 本 文 的 代 
码 位 于 examples/asio/chat/ 。 


7.3.1 TCP 分 包 


87.1“ 五 个 徐 单 TCP 示 例 ” 中 处 理 的 协议 没有 涉及 分 包 ， 在 TCP 这 种 
字 下 流 协 议 上 做 应 用 层 分 包 是 网 络 编程 的 基本 需求 。 分 包 指 的 是 在 友 生 
一 个 消息 (message) 或 一 由 〈frame) 数据 时 ， 通 过 一 定 的 处 理 ， 让 接 
能 入 字 下 洲 中 识别 并 坑 取 (还 原 ) 出 一 个 个 消息 。“ 粘 包 问 题 ” 是 个 
为 问题 。 

对 于 短 连 接 的 TCP 服 务 ， 分 包 不 是 一 个 问题 ， 只 要 发 送 方 主动 天 闭 
连接 ， 就 表示 一 条 消息 及 大 完毕 ， 接 收 方 read0 返 回 0， 从 而 知道 消 恩 的 
结尾 。 例 如 87.1 里 的 daytime 和 time 协 议 。 

对 于 长 连接 的 TCP 服 务 ， 分 包 有 四 种 方法 : 


ee 消息 长 度 固定 ， 比 如 muduo 的 roundtrip 示 例 就 采用 了 固定 的 16 字 
太 消 忆 。 

2. 使 用 特殊 的 字符 或 字符 串 作 为 消 恩 的 边界 ， 例 如 HTTP 协 议 风 
headers 以 “2 为 字段 的 分 隔 符 。 

3. 在 每 条 消息 的 头 部 加 一 个 长 度 字 段 ， 这 妃 介 是 最 币 见 的 做 法 ， 
本 文 的 聊天 协议 也 采用 这 一 办 法 。 

4. 利用 消 恩 本 号 的 格式 来 分 包 ， 例 如 XML 格 式 的 消 居 中 <root>.. 
</root> 的 配对 ， 或 者 JSON 格 式 中 的 { …} 的 配对 。 解 析 这 种 消息 格式 通 


常会 用 到 状态 机 (state machine) 。 
在 后 文 的 代码 讲解 中 还 会 仔细 讨论 用 长 有 度 字 段 分 包 的 遇见 隐 阱 。 
聊天 服务 


本 市 实现 的 聊天 服务 非常 简单 ， 由 服务 端 程序 和 客户 端 程 序 组 成 ， 
协议 如 下 : 


:服务 病程 序 在 菜 个 妆 口 侦 听 (isten〉 新 的 连接 。 

:客户 病 同 服务 闹 发 起 连接 。 
A ， 和 客户 痢 随 时 准备 接收 服务 端的 消 恩 并 在 屏 欠 上 显 
修 品 冰 。 

:客户 闹 接 受 健 检 输 入 ， 以 回 车 为 者 ， 把 消 恩 发送 给 服务 闹 。 

:服务 闫 接收 到 消息 之 后 ， 依 次 发 送 给 每 个 连接 到 它 的 客户 靖 ; 原 
来 有 发送 消 上 县 的 客户 问 进 程 也 会 收 到 这 条 消息 。 

一 个 服务 闫 进程 可 以 同时 服务 多 个 客户 问 进 程 。 当 有 消 县 到 达 服 
务 问 后 ， 每 个 客户 闫 进程 都 会 收 到 同一 条 消息 ， 服 务 冰 广播 及 送 消 上 县 的 
顺序 是 任意 的 ， 不 一 定 哪 个 客户 疹 会 先 收 到 这 条 消息 。 

“(可 选 ) 如 果 消 居 A 先 于 消 奶 B 到 达 服 务 六 ， 那 么 每 个 客户 端 都 会 
先 收 到 A 再 收 到 B。 


这 实际 上 是 一 个 简单 的 基于 TCP 的 应 用 层 广播 协议 ， 由 服务 端 负 责 
把 消息 发 送 给 每 个 连接 到 它 的 客户 端 。 参 与 “聊天 ”的 既 可 以 是 人 ， 也 可 
以 是 程序 。 在 后 文 $87.11 中 ， 我 将 介绍 一 个 稍微 复杂 一 点 的 例子 hub， 它 
有 “聊天 室 ” 的 功能 ， 客 户 疾 可 以 注册 特定 的 topic(s)， 并 往 某 个 topic 发 这 
消 轧 ， 这 样 代 码 更 有 意思 。 

我 在 “ 谈 一 谈 网 络 编程 学 习 经 验 ”( 附 录 A) 中 把 聊天 服务 列 为 “最 主 
要 的 三 个 例子 ”之 一 ， 其 与 前 面 的 “五 个 简单 TCP 协 议 ”* 不 同 ， 聊 天 服务 的 
特点 是 “连接 之 间 的 数据 有 交流 ， 从 a 连 接收 到 的 数据 要 发 给 b 连 接 。 这 
样 对 连接 管理 提出 了 更 高 的 要 求 : 如 何 用 一 个 程序 同时 人 处理 多 个 连接 ? 
fork()-per-connection 似 乎 是 不 行 的 。 如 何 防 止 串 话 ? b 有 可 能 随时 断 开 过 
接 ， 而 新 建立 的 连接 c 可 能 恰好 复 用 了 b 的 文件 摘 述 符 ， 那 么 a 会 不 会 错 
Si ”>muduo 的 这 个 例子 充分 展示 了 解决 以 上 问题 的 手 
| 


7.3.2 ” 消 居 格式 


本 聊天 服务 的 消息 格式 非常 简单 ，“ 消 息 "本 身 是 一 个 字符 串 ， 每 条 
消 轧 有 一 个 4 字 节 的 头 部 ， 以 网 络 序 存放 字符 串 的 长 度 。 谢 妃 之 则 没有 
间隙 ， 字 符 串 也 不 要 求 以 \0 结 尾 。 比 方 说 有 两 条 消 

轧 “hello” 和 “chenshuo”， 那 么 打包 后 的 字 节 状 共 有 21 字 下 : 

Ox0O0, OxOO, Ox00@, x05, hr, er, l,l ，Q 


a a 


OxXOO0, OxO0, OxX00, Ox08, cc he, Nn, sh ua 


i k 证 


打包 的 代码 ”这 上段 代码 把 string message 打 包 为 muduo::net::Buffer， 
并 通过 conn 及 送 。 由 于 这 个 codec 的 代码 位 于 头 文 件 中 ， 因 此 反复 出 现 
了 muduo::net namespace。 


examples/asio/chat/codec.h 
55 vold send(muduo: :net::TcpCconnection* conn, 


56 const muduo::StringPiece& message) 

sr { 

58 muduo: :net: :Buffer buf: 

59 buf .append(message.data(), message.size()). 

60 int32_t len = static_cast<int32_t>(message.size()); 

61 int32_t be32 = muduo: :net::sockets: :hostToNetwork32(len): 
62 buf .prepend(&be32, sizeof be32); 

63 conn->send(&buf): 

64 } 


examples/asio/chat/codec.h 


muduo Buffer 有 一 个 很 好 的 功能 ， 它 在 头 部 预 留 了 8 个 字 节 的 空间 ， 
这 样 L62 的 prepend0 探 作 融 不 需要 移动 已 有 的 数据 ， 效 靳 较 高 。 
解析 数据 往往 比 生成 数据 更 复杂 ， 分 包 、 打 包 也 不 
列 让。 


examples/asio/chat/codec.h 


24 voOld onMessagetconst muduo: :net::TcpConnectionPtré& conn, 
25 muduo: :net: :Buffer* buf, 

26 muduo: :Timestamp receiveTime) 

27 


{ 
28 while (buf->readableBytes() >= kHeaderLen) // kHeaderLen == 4 
29 { 


30 A: FIXME: USe Buffer::peekIlnt32() 

31 const void* data = buf->peek(): 

32 int32 t be32 = xstatic cast<const int32 tx*>(data}); // SIGBUS 
33 const int32_t len = muduo: :net::sockets: :networkToHost32(be32): 
34 if (len > 65536 || len < 0) 

35 { 

36 LOG_ERROR << “Invalid length ”<< len: 

37 conn->shutdown(); // FIXME: disable reading 

38 break ; 

39 } 

40 else if (buf->readableBytes() >= len + kHeaderLen) 
41 { 

42 buf->retrieve(kHeaderLen): 

43 muduo: :string message(buf->peek(), len). 

| messageCallback_(conn, message, recelveTime): 

45 buf->retrieve(len): 

46 } 

47 else 

48 { 

49 break; 

50 } 

51 

52 } 


examples/asio/chat/codec.h 


onMessage() 中 L43 构 造 完 整 的 消 轧 ，L44 授 过 messageCallback_ 回 调 
用 户 代 人 码 。L32 有 洪 在 的 问题 ， 人 在 攻 上 旦 个 文 持 非 对 齐 内 存 访 问 的 体系 结 
构 上 会 造成 SIGBUS core dump， 读 取消 息 长 度 应 该 改 用 
Buffer::peekInt32()。 上 和 面 这 上 段 代 人 码 的 L28 用 了 while 人 循环 来 反复 读 取 数 
据 ， 和 直到 Buffer 中 的 数据 不 够 一 条 完整 的 消 肯 。 请 读者 思考 ， 如 琳 换 成 
if (buf->readableBytes() >= kHeaderLen) 会 有 什么 后 果 。 

以 前 面 提 到 的 两 条 消 思 的 字 市 流 为 例 : 

Ox00, OxO0, Ox00, Ox@5, hh, ee, 1', ll’, oo., 
OxOO, OxO0 Ox00, Ox88, ‘c,h, ein， 5, hh', vy, 0 


假设 数据 最 终 都 全 部 到 达 ，onMessage() 至 少 要 能 正确 处 理 以 下 各 种 数据 
到 达 的 次 序 ， 每 种 情况 下 messageCallback_ 都 应 该 说 调用 两 次 : 


1. 每 次 收 到 一 个 字 节 的 数据 ，onMessage() 被 调用 21 次 : 


2. 数据 分 两 次 到 达 ， 第 一 次 收 到 2 个 字 季 ， 不 足 消 息 的 长 度 字 段 ; 

3. 数据 分 两 次 到 达 ， 第 一 次 收 到 4 个 字 节 ， 刚 好 够 长 度 字 段 ， 但 是 
没有 body; 

4. 数据 分 两 次 到 达 ， 第 一 次 收 到 8 个 字 节 ， 长 度 完 整 ， 但 body 不 完 


21， 
5. 数据 分 两 次 到 达 ， 第 一 次 收 到 9 个 字 节 ， 长 度 完 整 ，body 也 完 
表 


6. 数据 分 两 次 到 达 ， 第 一 次 收 到 10 个 字 节 ， 第 一 条 消息 的 长 度 完 
整 、body 也 完整 ， 第 二 条 消 奶 长度 个 完整 ; 

7. 请 自行 移动 和 增加 分 割 点 ， 验 证 各 种 情况 ; 一 共有 超过 100 万 种 
可 能 〈22 ) 。 

8. 数据 一 次 就 全 部 到 达 ， 这 时 必须 用 while 循 环 来 读 出 两 条 消息 ， 
合 则 消息 会 推 积 在 Buffer 中 。 


请 读者 验证 onMessage0O 是 人 否 做 到 了 以 上 几 点 。 这 个 例子 充分 说 明了 
nonblocking read 必 须 和 input buffer 一 起 使 用 。 而 且 在 写 decoder 的 时 候 一 
定 要 在 收 到 完整 的 消息 〈L40) 之 后 再 retrieve 整 条 消息 〈L42 和 L45) ， 
除非 接收 方 使 用 复杂 的 状态 机 来 解码 。 


7.3.3” 编 解码 器 LengthHeaderCodec 


有 人 评论 muduo 的 接收 绥 冲 区 不 能 设置 回调 函数 的 触发 条 件 :， 确 实 
如 此 。 每 当 socket 可 读 时 ，muduo 的 TcpConnection 会 读 取 数据 并 存 入 
input buffer， 然 后 回调 用 户 的 函数 。 不 过 ， 一 个 简单 的 间接 层 束 能 解决 
问题 ， 让 用 户 代 码 只 关心 “消息 到 达 ” 而 不 是 “数据 到 达 ”， 如 本 例 中 的 
LengthHeaderCodec 所 展示 的 那样 。 


examples/asio/chat/codec.h 
12 Class LengthHeaderCodec : boost::noncopyable 


13 于 

14 public: 

15 typedef boost::function<vyoid (const muduo: :net::TCPConnectionPtr&， 

16 const muduo: :string& message, 

17 muduo: :Timestamp)> StringeMessageCallback:; 


19 explicit LenethHeaderCodec(const strineMessageCallback& cb) 


20 : messageCallback_tcb) 
21 { 
22 } 


onMessage() 和 send() 同 帅 


55 private: 

57 strineMessageCallback messageCallback_: 

58 const static size_t kHeaderLen = sizeof (int32_t): 

9 站 

| examples/asio/chat/codec.h 
这 段 代 码 把 以 Buffer* 为 参数 的 MessageCallback 转 换 成 了 以 const 

string& 为 参数 的 StringMessageCallback， 让 用 户 代 码 不 必 关 心 分 包 操 

作 ， 有 具体 的 调用 时 序 图 见 此 处 图 7-29。 如 果 编 程 语言 相同 ， 客 户 端 和 服 

务 端 可 以 《应 该 ) 共享 同一 个 codec， 这 样 既 节省 工作 量 ， 又 避免 因 对 

协议 理解 不 一 致 而 导致 的 错误 。 


7.3.4 ”服务 器 的 实现 


聊天 服务 耸 的 服务 只 代码 小 于 100 行 ， 不 到 asio 的 一 半 。 

请 先 阅 读 此 处 L65~L69 的 数据 成 员 的 定义 。 际 了 经 和 常见 到 的 
EventLoop 和 TcpServer，ChatServer 还 定义 了 codec_ 和 connections_ 作 为 
ns 后 者 存放 目前 已 建立 的 客户 连接 。 在 收 到 消 恩 之 后 ， 服 务 右 会 退 
历 整 个 容 希 ， 把 消息 广播 给 其 中 的 每 一 个 TCP 连 接 

( de ash J 
自 完 ， 在 构造 汕 数 里 注册 回调 ， 


examples/asio/chat/server.cc 
16 class ChatServer : boost::noncopyable 


17 序 

18 public: 

19 ChatServer(EventLoop* loop, 

20 const InetAddress& listenAddr) 

21 : loop_(loop), 

22 server_(loop, listenAddr, “ChatSserver”), 

23 codec_{(boost::bind(&ChatServer: :onStringMessage, this, _1, _2, _3)) 
24 { 

25 server_.setConnectionCallbacke 

26 boost::bind(&ChatServer: :onConnection, this, _1)7): 

27 server_.setMessageCallbackt( 

28 boost::bind(&LenethHeaderCodec: :onMessage, &codec_, _1, _2,， _3)): 
29 } 


31 vold startr) 


32 { 
33 server_.startO. 
34 } 


examples/asio/chat/server.cc 


这 里 有 几 点 值得 注意 ， 在 以 往 的 代码 里 是 直接 把 本 class 的 
onMessage() 注 册 给 server_; 这 里 我 们 把 LengthHeaderCodec::onMessage() 
注册 给 server_， 然 后 同 codec 注册 了 ChatServer::onStringMessage()， 等 
于 说 让 codec_ 人 负 贡 解析 消 晨 ， 然 后 把 完整 的 消 恩 回调 给 ChatServer。 这 
下 是 我 前 面 提 到 的 “一 个 人 简单 的 间接 层 ”， 在 不 增加 muduo 库 的 复杂 拔 的 
前 提 下 ， 提 供 了 足够 的 灵活 性 让 我 们 在 用 户 代 码 里 完成 需要 的 工作 。 

另外 ，server_.startO0 绝 对 不 能 在 构造 水 数 里 调用 ， 这 么 做 将 来 会 有 
线程 安全 的 问题 ， 见 $1.2 的 论述 。 

以 下 是 处 理 连 接 的 建立 和 上 断 开 的 代码 ， 注 意 它 把 新 建 的 连接 加 入 到 
connections_ 容 右 中 ， 把 已 断 开 的 连接 从 容 震 中 删除 。 这 么 做 是 为 了 避 
免 内 存 和 资源 泄漏 ，TcpConnectionPtr 是 
boost'::shared_ptr<TcpConnection>， 是 muduo 里 唯一 一 个 默认 采用 
shared_ptr 来 管理 生命 期 的 对 象 。§4.7 谈 了 这 么 做 的 原因 。 


examples/asio/chat/server.cc 
36 private: 


37 vold onConnectiontconst TcpConnectionPtr& conn) 

38 { 

39 LOG_INFO << conn->localAddress().toIlpPort) << " -> " 
40 << Conn->PpeerAdgressf() .toIpPort() << " is " 
41 << (conn->connected() ? UP : DOWN ); 

42 

43 if (conn->connected()) 

4 { 

45 connections_.insert(conn): 

46 } 

47 else 

48 { 

49 connectlons_.erase(conn): 

50 } 

51 } 


以 下 是 服务 端 处 理 消 因 的 代码， 它 裔 历 整 个 connections_ 容 器， 把 
消息 打包 发 送 给 各 个 客户 连接 。 


53 vold onSstringMessage(const TcpConnectionPtre, 


54 const string& message, 
55 Timestamp) 
56 { 
57 for (ConnectionList::iterator lt = connections_.begin(): 
58 it I= connections_.end(); 
59 ++1tY 
60 { 
61 codec_.send(get_pointer(*it), message).: 
62 } 
63 } 
数据 成 员 : 
65 typedef std::set<TcpConnectionPtr> ConnectionList; 


66 EventLoop* loop_; 
67 TCPServer server_: 
68 LengthHeaderCodec codec_;: 
69 ConnectionList connections_; 
70 1}; 
: examples/asio/chat/server.cc 


main0 函 数 中 是 例行公事 的 代码 : 


examples/asio/chat/server.cc 
72 int main(int argc, char* argv[]) 
73 
74 LOG_INFO << “pid = ”<< getpid(): 
75 If (argc > 1) 


76 { 

77 EventLoop loop; 

78 Uint16_t port = static _ cast<uint16_t>(atoi(aregv[1])): 
79 InetAddress serverAddr (port).; 

80 ChatServer server(&loop, serverAddr): 
81 server.start():; 

82 loop.1o0p0): 

83 } 

84 else 

85 { 

86 Printf( Usage: %s PortAn ，arevLoj) ; 
87 } 

38 } 


examples/asio/chat/server.cc 


如 果 你 读 过 asio 的 对 应 代码， 会 不 会 痪 得 Reactor 往 往 比 Proactor 容 易 
使 用 ? 


7.3.5 ”客户 疹 的 实现 


我 有 时 和 党 得 服务 端的 程序 第 利 比 客户 端的 更 容易 写 ， 聊 天 服务 器 再 
次 验证 了 我 的 看 法 。 和 客户 痪 的 复杂 性 来 目 于 它 要 读 取 键盘 输入 ， 而 
EventLoop 是 独占 线程 的 ， 所 以 我 用 了 两 个 线程 : main(0) 函 数 所 在 的 线程 
负责 读 键 往 ， 另 外 用 一 个 EventLoopThread 来 处 理 网 络 IO 。 ? 

现在 来 看 代码 ， 首 先 ， 在 构造 函数 里 注册 回调 ， 并 使 用 了 跟前 面 一 
样 的 LengthHeaderCodec 作 为 中 间 层 ， 负 责 打 包 、 分 包 。 


examples/asio/chat/client.cc 
17 class ChatClient : boost::noncopyable 


18 +{ 
19 public: 
20 chatClient(EventLoop* loop, const InetAddress& serverAddr) 
21 : loop_(loop), 
22 client_(loop, serverAddr, ChatClLient ) ， 
23 codec_(boost::bind(&Chatclient::onSstringMessage, this, _1, 2，_3)) 
24 { 
25 client_.setCconnectionCallbackt( 
26 boost::bind(&ChatCclient: :onConnection, this, _1)): 
27 client_.setMessageCallbackt 
28 boost::bind(g&LengthHeaderCodec: :onMessage, &codec_, _1, _2,， _3)): 
29 client_.enableRetry(): 
30 } 
31 
32 vold connect() 
33 { 
34 Client_.connect(ry ; 
35 } 
~ 了 AN AR FA rt IT i > » » 
disconnectO 目 前 为 衬 ， 客 户 端的 连接 由 操作 系统 在 进程 终止 时 天 
省 。 
37 vold disconnect() 
3 { 
39 YA client_.disconnect(): 
40 站 
41 


write0) 会 由 main 线 程 调用 ， 所 以 要 加 锁 ， 这 个 锁 不 是 为 了 保护 
TcpConnection， 而 是 为 了 保护 shared_ptr。 


42 voOld write(const 3StrlIngPlece& message) 

43 { 

44 MutexLockGuard lock(mutex_): 

45 if (connection_) 

46 { 

47 codec_.send(get_pointer(connection_), message): 
48 } 

49 + 


onConnection0 会 由 EventLoop 线 程 调 用 ， 所 以 要 加 锁 以 保护 
shared_ptr。 


private: 
voOld onConnectiontconst TcpConnectionPtr& conn) 
{ 
LOG_INFO << conn->localAddress().toIpPort() << ” -> " 
<< conn->peerAddresst).tolpPort() << " ls " 
<< (conn->connected(Y)Y ? "UP” : "DOWN"™): 


MutexLockGuard lock(mutex_): 
if (conn->connected()) 


{ 

connection_ = conn; 
} 
el se 
{ 

connection_.reset(); 
上 


} 
把 收 到 的 消 恩 打印 到 屏 右 ， 这 个 疯 数 由 EventLoop 线 程 调 用 ， 但 是 


不 用 加 锁 ， 因 为 printfO 是 线程 安全 的 。 注 意 这 里 不 能 用 std::cout<<， 它 


不 是 线程 安全 的 。 
59 vold onstrIngMessageltconst TcpConnect1ionPtre&, 
70 const string& message, 
71 Timestamp) 
72 { 
73 printf("<<< %s\n", message.c_str()): 
74 } 

数据 成 员 : 


80 
81 


EventLoop* loop_; 
TcpClient client_: 
LengthHeaderCodec codec_; 
MutexLock mutex_: 
TcpConnectionPtr connection_: 
好 
examples/asio/chat/client.cc 


main() 辫 数 里 际 了 例行公事 ， 还 要 局 动 EventLoop 线 程 和 读 取 键盘 输 


examples/asio/chat/client.cc 
83 int main(int argc, charx*x argv[]) 


{ 
85 LOG_INFO << "pid = ”<< getpid(): 
86 if (argc > 2) 


87 

88 EventLoopThread LoopThread ; 

89 Uint16_t port = static _cast<uint16_t>(atoi(arev[2])): 
90 InetAddress serverAddr(argvL1], port); 

91 

92 chatClient client(loopThread.startLoop(), serverAddr)}: 
93 client,connecte): 

94 std: :string line,; 

95 while (std::getline(std: :cin, line}y) 

96 { 

97 client.write(liney: 

98 

99 client.disconnectr():; 

L00 } 

L101 else 

L102 { 

L103 printf( "Usage: %s host_ip port\n’, argv[@]):;: 

L104 } 

105 } 


examples/asio/chat/client.cc 


L92 ChatClient 使 用 EventLoopThread 的 EventLoop， 而 不 是 通常 的 主 
线程 的 EventLoop。L97 发 送 数据 行 。 


简单 测试 
打开 三 个 命令 行 窗 口 ， 在 第 一 个 窗口 运行 : 
$ ./asio_chat_server 3006 
在 第 二 个 窗口 运行 : 
$ .A/asio_chat_client 127.0.0.1 3000 
在 第 三 个 窗口 运行 同样 的 命 
$ .A/asio_chat_client 127.0.0.1 3000 


这 样 束 有 两 个 客户 器 进 程 参与 聊天 。 在 第 二 个 窗口 里 输入 一 些 字符 
并 回 车 ， 字 人 符 会 出 现在 本 窗口 和 第 三 个 窗口 中 。 
代码 示例 中 还 有 另外 三 个 server 程 序 ， 都 是 多 线程 的 ， 详 细 介 绍 在 
此 处 。 


server threaded.cc 使 用 多 线程 TcpServer， 并 用 mnutex 来 保护 共享 数 


据 。 

“server threaded efficient.cc 对 共 圣 数据 以 §2.8“ 值 shared_ptr 实 现 copy- 
on-write” 的 手法 来 降低 锁 苋 争 。 

“server threaded highperformance.cc 采用 thread local 变量， 实现 多 线程 
高 效 转 及 ， 这 个 例子 值得 仔细 阅读 理解 。 


87.8 会 介绍 muduo 中 的 定时 器 ， 并 实现 Boost.Asio 教 程 中 的 timer2 一 5 
示例 ， 以 及 带 流 量 统计 功能 的 discard 和 echo 服 务 器 (来自 Java Netty) 。 
流量 等 于 单位 时 间 内 发 送 或 接收 的 字 贡 数 ， 这 要 用 到 定时 堆 功 能 。 


7.4 _ muduo Buffer 类 的 设计 与 使 用 


本 节 介 绍 muduo 中 输入 输出 缓冲 区 的 设计 与 实现 。 文 中 buffer 指 一 
般 的 应 用 层 缓冲 区 、 组 冲 技 术 ，Buffer 特 指 muduo::net::Buffer class。 


7.4.1 muduo 的 IO 模型 


[UNP] 6.2 节 总 结 了 Unix/Linux 上 的 五 种 IO 模型 : 阻塞 
(blocking) 、 非 阻 堵 (non-blocking) 、IO 复 用 〈IO multiplexing) 、 
信号 驱动 (signal-driven) 、 异 步 (asynchronous) 。 这 些 都 是 单线 程 下 
的 IO 模型 。 

C10k 问 题 2 的 页 面 介 绍 了 五 种 IO 策略 ， 把 线程 也 纳入 考量 。《〈 现 在 
C10k 己 经 不 是 什么 问题 ，C100k 也 不 是 大 问题 ，C1000k 才 算得 上 挑 
战 )。 

在 这 个 多 核 时 代 ， 线 程 是 不 可 避免 的 。 那 么 服务 端 网 络 编程 该 如 何 
选择 线程 模型 呢 ? 我 赞同 libev 作 者 的 观点 2: one loop per thread is 
usually a good model。 之 前 我 也 不 止 一 次 表述 过 这 个 观点 ， 参 见 83.3“ 多 
线程 服务 需 的 党 用 编程 模型 > 和 86.6“ 详 解 muduo 多 线程 模型 ”。 

如 末 采 用 one loop per thread 的 模型 ， 多 线程 服务 端 编程 的 问题 殴 徐 
化 为 如 何 设计 一 个 高 效 且 易 于 使 用 的 event loop， 然 后 每 个 线程 run 一 个 
event ]oop 束 行 了 《当然 、 同 步 和 互 斥 是 不 可 或 缺 的 ) 。 在 “局 效 ” 这 方面 
己 经 有 了 很 多 成 玖 的 范例 (Uibev、libevent、memcached、redis、 
lighttpd、nginx) ， 在 “易于 使 用 ”方面 我 希望 muduo 能 有 上 所 作为 。 

(muduo 可 算是 用 现代 C++ 实现 了 Reactor 模 式 ， 比 起 原始 的 Reactor 来 说 
要 好 用 得 多 。 ) 
event 1oop 是 non-blocking 网 络 编程 的 核心 ， 在 现实 生活 中 ，non- 


blocking 几 乎 总 是 和 IO multiplexing 一 起 使 用 ， 原 因 有 两 点 : 


:没有 人 真 的 会 用 轮 询 (busy-pooling) 来 检查 某 个 non-blocking IO 
操作 是 人 否 完 成 ， 这 样 太 浪 费 CPU cycles。 

:IO multiplexing 一 上 般 不 能 和 blocking IO 用 在 一 起 ， 因 为 blocking IO 
中 read(O/write()/accept(Oy/connectO 都 有 可 能 阻 故 当前 线程 ， 这 样 线程 殴 没 
办 法 处 理 其 他 socket 上 的 IO 事件 了 。 见 [UNP] 16.6 节 “nonblocking 
accept” 的 例子 。 


所 以 ， 当 我 提 到 non-blocking 的 时 候 ， 实 际 上 指 的 是 non-blocking 十 
IO maultiplexing， 单 用 其 中 任何 一 个 是 不 现实 鸭 。 另 外 ， 本 书 所 有 的 “过 
接 ” 均 指 TCP 连 接 ，socket 和 connection 在 文中 可 互 换 使 用 。 

当然 ，non-blocking 编 程 比 blocking 难 得 多 ， 见 86.4.1“TCP 网 络 编程 
本 质 论 ”列举 的 难点 。 基 于 event loop 的 网 络 编程 跟 直 接 用 C/C++ 编写 单 
线程 Windows 程 序 巾 为 相像 :程序 不 能 阻 疆 ， 否 则 窗口 束 失 去 啊 应 了 了 :; 
在 event handler 中 ， 程 序 要 尽快 交 出 控制 权 ， 返 回 窗 口 的 事件 循环。 


7.4.2 ”为 什么 non-blocking 网 络 编程 中 应 用 层 buffer 是 必需 的 


non-blocking I0 的 核心 思想 是 避免 阻 野 在 read0O 或 write() 或 其 他 IO 系 
统 调用 上 ， 这 样 可 以 最 大 限度 地 复 用 thread-of-control， 让 一 个 线程 能 服 
务 于 多 个 socket 连 接 。IO 线 程 只 能 阻 窒 在 IO multiplexing 国 数 上 ， 如 
select/poll/epoll_wait。 这 样 一 来 ， 应 用 层 的 缓冲 是 必需 的 ， 每 个 TCP 
socket 都 要 有 statefulHJinput buffer 和 output buffer。 

TcpConnection 必 须要 有 outputbuffer 考虑 一 个 常见 场景 : 程序 
想 通 过 TCP 连 接 友 过 100kB 的 数据 ， 但 是 在 write() 调 用 中 ， 操 作 系 统 只 
接受 了 80kB 〈( 受 TCP advertised window 的 控制 ， 细 市 见 [TCPv1]) ， 你 
肯定 不 想 在 原 地 等 每 ， 因 为 不 知道 会 守 多 久 【〔 取 决 于 对 方 什 么 时 候 接 收 
数据 ， 然 后 靖 动 TCP 窗 口 ) 。 程 序 应 该 尽快 交 出 控制 权 ， 返 回 event 
loop 。 在 这 种 情况 下 ， 剩 余 的 20kB 数 据 怎 么 办 ? 

对 于 应 用 程序 而 言 ， 它 只 演 生成 数据 ， 它 不 应 该 关心 到 底数 据 古 一 
次 性 友 送 还 是 分 成 几 次 肥大 ， 这 些 应 该 由 网 络 库 来 操心 ， 程 序 只 要 调用 
TcpConnection::sendO 束 行 了 ， 网 络 库 会 负责 到 确 。 网 络 库 应 该 接管 这 
剩余 的 20kB 数 据 ， 把 它 保存 在 该 TCP connection 的 output buffer 里 ， 然 后 
注册 POLLOUT 事 件 ， 一 旦 socket 变 得 可 写 束 立刻 友 达 数据。 当然 ， 这 第 
二 次 write0 也 不 一 定 能 完全 写 入 20kB， 如 果 还 有 剩余 ， 网 络 库 应 该 继续 
关注 POLLOUT 事 件 ; 如 末 与 完了 20kB， 网 络 库 应 该 俘 止 天 注 


POLLOUT， 以 免 造 成 bpusy loop。 (muduo EventLoop 采 用 的 是 epoll level 
trigger， 原 因 见 下 方 。) 

如 果 程 友 义 与 入 了 50kB， 而 这 时 候 output buffer 里 还 有 竺 发 大 的 
20kB 数 据 ， 那 么 网 络 库 不 应 该 直接 调用 write()， 而 应 该 把 这 50kB 数 据 
append 在 那 20kB 数 据 之 后 ， 等 socket 变 得 可 写 的 时 候 再 一 并 写 入 。 

如 果 output buffer 里 还 有 每 发 送 的 数据 ， 而 程序 义 想 关闭 连接 (对 
程序 而 言 ， 调 用 TcpConnection::send() 之 后 他 束 认 为 数据 述 早 会 发 出 
去 ) ， 那 么 这 时 候 网 络 库 不 能 立刻 天 闭 连 接 ， 而 要 等 数据 发 运 完 毕 ， 见 
此 处 “为 什么 TcpConnection:: shutdown() 没 有 直接 关闭 TCP 连 接 ” 中 的 讲 
解 。 

综 上 ， 要 让 程序 在 write 操作 上 不 阻 蹇 ， 网 络 库 必须 要 给 每 个 TCP 
connection 配 置 output buffer。 

TcpConnection 必 须要 有 input buffer ICP 是 一 个 无 边界 的 字 布 流 
协议 ， 接 收 方 必 须要 处 理 “ 收 到 的 数据 尚 不 构成 一 条 完整 的 请 轧 ?和 "一 
次 收 到 两 条 消 居 的 数据 ”等 情况 。 一 个 第 见 的 场景 是 ， 发 送 方 send() 了 两 
条 1kB 的 消 晨 〈 共 2kB〉， 接 收 方 收 到 数据 的 情况 可 能 是 : 


一 次 性 收 到 2kB 数 据 ; 
:分 两 次 收 到 ， 第 一 次 600B， 第 二 次 1400B; 
:分 两 次 收 到 ， 和 第 一 次 1400B， 第 二 次 600B; 
:分 两 次 收 到 ， 和 第 一 次 1kB， 第 二 次 1kB:; 
:分 三 次 收 到 ， 第 一 次 600B， 第 二 次 800B， 第 三 次 600B; 
一 般 而 言 ， 长 上 度 为 n 字 节 的 消 恩 分 块 到 达 的 可 能 性 
2 种 。 


网 络 库 在 处 理 “socket 可 该 ”事件 的 时 候 ， 必 须 一 次 性 把 socket 里 的 数 
扼 该 完 《〈 从 操作 系统 buffer 搬 到 应 用 层 buffer) ， 合 则 会 反复 触 友 
POLLIN 事 件 ， 造 成 busy-loop。 那 么 网 络 库 必 然 要 应 对 “数据 不 完整 的 
情况 ， 收 到 的 数据 先 放 到 input buffer 里 ， 等 构成 一 条 完整 的 消息 再 通知 
程序 的 业务 馆 辑 。 这 通 币 是 codec 的 职责 ， 见 87.3“Boost.Asio 的 聊天 服务 
侯 ? 中 的 “TCP 分 包 ?” 的 论述 与 代码 。 所 以 ， 在 TCP 网 络 编程 中 ， 网 络 库 必 
须要 给 每 个 TCP connection 配 置 input buffer。 

muduo EventLoop 采 用 的 是 epoll(4) level trigger， 而 不 是 edge 
trigger。 一 是 为 了 与 传统 的 poll(2) 羔 容 ， 因 为 在 文件 插 述 从 数目 较 少 ， 
活动 文件 描述 符 比 例 较 高 时 ，epoll(4) 不 见得 比 poll(2) 更 高 效 s， 必 要 时 
可 以 在 进程 启动 时 切换 Poller。 二 是 level trigger 编 程 更 容易 ， 以 往 
select(2)/poll(2) 的 经 验 都 可 以 继续 用 ， 不 可 能 及 生 漏 把 事 件 的 pug。 三 是 


读 写 的 时 候 不 必 等 候 出 现 EAGAIN， 可 以 节省 系统 调用 次 数 ， 降 低 延 
1 

所 有 muduo 中 的 IO 都 是 带 缓冲 的 IO (buffered IO ) ， 你 不 会 自己 去 
read0 或 write() 某 个 socket， 只 会 操作 TcpConnection 的 input buffer 和 outpnut 
buffer。 更 确切 地 说 ， 是 在 onMessage0 回 调 里 读 取 input buffer; 调用 
TcpConnection::send0O 来 间接 操作 output buffer， 一 般 不 会 直接 操作 output 
buffer。 

万 外 , muduo 的 onMessage(0 的 原型 如 下 ， 它 既 可 以 是 free function ， 
也 可 以 是 member function， 有 反正 muduo TcpConnection 只 认 
boost::function<>。 


vold onMessage(const TcpConnectionPtr& conn, Buffer* buf, Timestamp receiveTime):; 

对 于 网 络 程序 来 说 ， 一 个 简单 的 验收 测试 是 : 输入 数据 每 次 收 到 一 
个 字 节 〈200 字 节 的 输入 数据 会 分 200 次 收 到 ， 每 次 间隔 10ms) ， 程 序 的 
功能 不 党 影响 。 对 于 muduo 程 序 ， 通 第 可 以 用 codec 来 分 离 “ 消 息 接 
收 ? 与 “消息 处 理 ”， 见 8$7.6“ 在 muduo 中 实现 Protobuf 编 解码 堪 与 消息 分 发 
右 ? 对 “ 编 解 伺 右 codec” 的 介绍 。 

如 果 某 个 网 络 库 只 提供 相当 于 char buf[8192] 的 缓冲 ， 或 者 根本 不 提 
供 绥 阐 区 ， 而 仅仅 通知 程序 “ 某 socket 可 读 / 某 socket 可 写 ?， 要 程序 目 己 
操心 IO buffering， 这 样 的 网 络 库 用 起 来 就 很 不 方便 了 。 


7.4.3 Buffer 的 功能 需求 


muduo Buffer 的 设计 考虑 了 第 见 的 网 络 编程 需求 ， 我 试图 在 易 用 性 
和 性 能 之 间 找 一 个 平衡 点 ， 晶 前 这 个 平衡 点 更 偏 问 于 易 用 性 。 


muduo Buffer 的 设计 要 点 : 


:对 外 表现 为 一 块 连续 的 内 存 (charx p, int len)， 以 方便 客户 代码 的 编 
Ey 

:其 Size0 可 以 目 动 增长 ， 以 适应 不 同 大 小 的 消 县 。 它 不 是 一 个 fixed 
size array 〈 例 如 char buf[8192]) 。 

:内 部 以 std::vector<char> 来 保存 数据 ， 并 提供 相应 的 访问 函数 。 


Buffer 其 实 像 是 一 个 queue， 从 末尾 与 入 数据 ， 从 头 部 谈 出 数据 。 
谁 会 用 Buffer? 谁 写 谁 谈 ? 根据 前 文 分 机 ，TcpConnection 会 有 两 个 
Buffer 成 员 ，input buffer 与 output buffer。 


input buffer，TcpConnection 会 从 socket 读 取 数 据 ， 然 后 写 入 input 
buffer (其 实 这 一 步 是 用 Buffer::readFdO) 完 成 的 ) ; 客户 代码 从 input 
buffer 谈 取 数 据 。 

:output buffer， 和 客户 代码 会 把 数据 写 入 output buffer〈 其 实 这 一 步 是 
用 TcpConnection::send0 完 成 的 ) ; TcpConnection 从 output buffer 读 取 数 
据 并 写 入 socket。 


其 实 ，input 和 output 是 针对 客户 代码 而 言 的 ， 和 客户 代码 从 input 议 ， 
往 output 写 。TcpConnection 的 旋 写 正好 相反 。 

图 7-2 是 muduo::net::Buffer 失 类 图 。 请 注意 ， 为 了 后 而 画图 方便 ， 这 
个 类 图 跟 实 际 代 码 略 有 出 入 ， 但 不 影 啊 我 要 表达 的 观点 。 代 人 码 位 于 
muduo/net/Buffer.{h,cct! 。 


-data: vector<Char> 
-freadlndex': iInt 
-Writelndex: Imt 


+readableBytes(): Int 


+Deekl{): const cnar 
+retrievel(int) 
+retrieveAsotring(): string 
+append(const vold ,Inti 
+prepend{const vold ,Int) 
+Sswap(Buffer&) 
-readFd(int): Int 





图 7-2 


本 贡 不 介绍 每 个 成 员 郴 数 的 使 用 ， 而 会 详细 讲解 readIndex 和 
writeIndex 的 作用 。 

Buffer::readFd() ”我 在 此 处 写 道 : 

在 非 阻 堵 网 络 编程 中 ， 如 何 设 计 并 使 用 缓冲 区 ? 一 方面 我 们 和 希望 减 
少 系统 调用 ， 一 次 读 的 数据 越 多 越 划 算 ， 那 么 似乎 应 该 准备 一 个 大 的 绥 
冲 区 。 另 一 方面 希望 减少 内 存 占 用 。 如 果 有 10000 个 并 发 连接 ， 每 个 连 
接 一 建立 就 分 配 各 50kB 的 读 写 绥 冲 区 的 话 ， 将 占用 1GB 内 存 ， 而 大 多 数 


时 候 这 些 缓冲 区 的 使 用 率 很 低 。muduo 用 readv(2) 结 合 栈 上 空间 巧妙 地 解 
决 了 这 个 问题 。 

具体 做 法 是 ， 在 栈 上 准备 一 个 65536 字 节 的 extrabuf， 然 后 利用 
readv(0) 来 谈 取 数据 ，iovec 有 两 块 ， 第 一 块 指 同 muduo Buffer 中 的 writable 
字 节 ， 男 一 块 指向 栈 上 的 extrabuf。 这 样 如 果 读 入 的 数据 不 多 ， 那 么 全 
部 都 谈 到 Buffer 中 去 了， 如 果 长 度 超 过 Buffer 的 writable 字 有 数 ， 束 会 该 
到 栈 上 的 extrabuf 里 ， 然 后 程序 再 把 extrabuf 里 的 数据 appendO 到 Buffer 
中 ， 代 但 见 88.7.2。 

这 么 做 利用 了 临时 栈 上 空间 上， 避免 每 个 连接 的 礼 始 Buffer 过 大 造 
成 的 内 存 良 费 ， 也 避免 反复 调用 read0 的 系统 开销 《由 于 绥 冲 区 足够 
大 ， 通 单一 次 readv0O 系 统 调 用 丈 能 庶 完 全 部 数据 ) 。 由 于 muduo 的 事件 
触发 采用 level trigger， 因 此 这 个 函数 并 不 会 反复 调用 read0O 百 到 其 返回 
EAGAIN， 从 而 可 以 降低 消 晨 处 理 的 延迟 。 

这 算是 一 个 小 小 的 创新 吧 。 

线程 安全 ? ”muduo::net::Buffer 不 是 线程 安全 的 (其 安全 性 跟 
std::vector 相 同 ) ， 这 么 设计 的 理由 如 下 : 


对 于 input buffer，onMessage0O 回 调 始 终 友 生 在 该 TcpConnection 所 
属 的 那个 IO 线程 ， 应 用 程序 应 该 在 onMessage0 完 成 对 input buffer 的 操 
作 ， 并 且 不 要 把 input buffer 骏 露 给 其 他 线程 。 这 样 所 有 对 input buffer 的 
操作 都 在 同一 个 线程 ，Buffer class 不 必 是 线程 安全 的 。 

“对 于 output buffer， 应 用 程序 不 会 直接 操作 它 ， 而 是 调用 
TcpConnection::send(0) 来 发送 数据 ， 后 者 是 线程 安全 的 。 


代码 中 用 EventLoop::assertInLoopThread0O 保 证 以 上 假设 成 立 。 

如 末 TcpConnection::sendO 调 用 及 生 在 该 TcpConnection 所 属 的 那个 
IO 线程 ， 那 么 它 会 转 而 调用 TcpConnection::sendInLoopO，sendInLoopO) 
会 在 当前 线程 〈 也 惑 是 IO 线程 ) 操作 output buffer; 如 末 
TcpConnection::send() 调 用 发 生 在 别 的 线程 ， 它 不 会 在 当前 线程 调用 
sendInLoop()， 而 是 通过 EventLoop::runInLoop() 把 sendInLoop() 函 数 调 用 
转移 到 IO 线 程 ( 昕 上 去 诺 为 神奇 ? ) ， 这 样 sendInLoop() 还 是 会 在 IO 线 
程 操作 output buffer， 不 会 有 线程 安全 问题 。 当 然 ， 器 线程 的 函数 转移 
i 国 数 参数 的 路 线程 传递 ， 一 种 简单 的 做 法 是 把 数据 拷贝 一 份 ， 
绝对 安全 。 

男 一 种 更 为 高 效 的 做 法 是 用 swap()。 这 就 是 为 什么 
TcpConnection::send() 的 某 个 草 载 以 Buffer* 为 参数 ， 而 不 是 const 
Buffer&， 这 样 可 以 避免 氨 风 ， 而 用 Buffer::swap() 实 现 融 效 的 线程 间 数 


据 转 移 。 (最 后 这 后 ， 仪 为 设想 ， 暂 未 实现 。 目 前 仍然 以 数据 找 贝 方式 
在 线程 则 传 违 ， 略 人 秘 有 些 性 能 损失 。) 


7.4.4 Buffer 的 数据 结构 


Buffer 的 内 部 是 一 个 std::vector<char>， 它 是 一 块 连续 的 内 存 。 此 
外 ，Buffer 有 两 个 data member， 指 回访 vector 中 的 元 素 。 这 两 个 index 的 
关 型 是 int， 不 是 char*， 目 的 是 应 对 妈 代 需 失 效 。muduoBuffer 的 该 计 参 
竹 了 Netty 的 ChannelBuffer 和 1libevent 1.4.x 的 evbuffer。 不 过 ， 其 
prependable 可 算是 一 点 “ 微 创 新 ”。 

在 介绍 Buffer 的 数据 结构 之 前 ， 先 简单 说 一 下 后 面 示意 图 中 表示 指 
针 或 下 标的 箭头 所 指 位 置 的 具体 含义 。 对 于 长 度 为 10 的 字符 串 "Chen 
Shuon"， 如 果 p0 指 问 第 0 个 字符 (白色 区 域 的 开始 〉，p1l 指 同 第 5 个 字 
符 〈 灰 色 区 域 的 开始 ) ，p2 指 癌 \n' 之 后 的 那个 位 置 (通常 是 end0O) 碗 代 
合 所 指 的 位 置 ) ， 那 么 精确 的 男 法 如 图 7-3 的 堪 图 所 示 ， 人 简略 的 画 法 如 
图 7-3 的 右 图 所 示 ， 后 文 都 采用 这 种 简略 画 法 。 
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图 7-3 
muduo Buffer 和 的 数据 结构 如 图 7-4 所 示 。 
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() readlndex writelndex SI1Zel ) 
图 7-4 
两 个 index 把 vector 的 内 容 分 为 三 块 : prependable、readable、 
writable， 各 块 的 大 小 见 式 7-1。 灰 色 部 分 古 Buffer 的 有 效 载 何 
(payload) ，Pprependable 的 作用 留 到 后 面 讨 论 。 





prependable = Teadljndex 
readable = WriteImdex — readIndex (7—1) 
writable = size() — writelndex 
readIndex 和 writeIndex 满 足以 下 不 变 式 (invariant) : 
0 < readlIndex < writeIndex < size() 


muduo Buffer 里 有 两 个 常数 KCheapPrepend 和 kInitialSize， 和 定义 了 
prependable 的 初始 大 小 和 writable 的 初始 大 小 ，readable 的 初始 大 小 为 0。 
在 初 始 化 之 后 ，Buffer 的 数据 结构 如 图 7-5 所 示 ， 其 中 括号 里 的 数字 是 该 
变量 或 常量 的 值 。 


kCheapPrepend(8) klnitialSize( 1024) 
0U readIndex(8) size(1032) 
wrlitelndex(%) 
图 7-5 


根据 以 上 公式 〈 见 式 7-1) 可 算出 各 块 的 大 小 ， 刚 刚 初 始 化 的 Buffer 
里 没有 payload 数 据 ， 所 以 readable == 0。 


7.4.5 “Buffer 的 操作 


基本 的 read-write cycle 


Buffer 初 始 化 后 的 情况 见 岁 7-4。 如 果 同 Buffer 写 入 了 200 字 节 ， 那 么 
其 布局 如 图 7-6 所 示 。 


多 readable = 200 writable = 824 
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readlIndex(8) writelndex(208) slze( 1032) 
图 7-6 


图 7-6 中 writeIndex 向 后 移动 了 200 字 节 ，readIndex 保 持 不 变 ， 
readable 和 writable 的 值 也 有 变化 。 

如 果 从 Buffer read() & retrieveO0 〈 下 称 “* 谈 入 ”) 了 50 字 市 ， 结 果 如 图 
7-7 所 示 。 与 图 7-6 相 比 ，readIndex 回 后 移动 50 字 节 ，writeIndex 保 持 不 
杰 ，readable 和 writable 的 值 也 有 变化 〈 这 人 句 话 往 后 从 略 ) 。 
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wrlitelndex(208) slze( 1 032) 
readIndex(S®) 
图 7-7 


然后 又 写 入 了 200 字 节 ，writeIndex 回 后 移动 了 200 字 节 ，readIndex 
保持 不 变 ， 如 图 7-8 所 示 。 


58 readable = 350 writable = 624 
一 一 各 : 1 
0 
readIndex(38) writelIndex(408) size( 1032) 
图 7-8 


接 下 来 ， 一 次 性 谈 入 350 字 节 ， 请 注意 ， 由 于 全 部 数据 读 完 了 ， 


readImndexz 和 writeIndex 返 回 原 位 以 备 新 一 轮 使 用 〈 克 图 7-9) ， 这 和 图 7-5 
是 一 样 的 。 


4 readable =0 writable = 1024 
0 
readIndex(8) size(1032) 


writelIndex(8) 
图 7-9 
以 上 过 程 可 以 看 作 是 发 送 方 发 送 了 两 条 消息 ， 长 度 分 别 为 50 字 节 和 
350 学 人 ， 搂 收 方 分 两 次 收 到 数据 ， 每 次 200 字 人 ， 然 后 进行 分 包 ， 上 再 分 
两 次 回调 客户 代码 。 


自动 增长 


muduo Buffer 不 是 固定 长 度 的 ， 它 可 以 自动 增长 ， 这 是 使 用 vector 的 
ee 假设 当前 的 状态 如 图 7-10 所 示 。 (这 和 前 面 的 图 7-8 是 一 样 
J]。) 


$8 readable = 350 writable = 624 


readlIndex(58) writelndex(408) slze( 1032) 
图 7-10 


客户 代码 一 次 性 与 入 1000 字 节 ， 而 当前 可 与 的 字 蔬 数 只 有 624， 那 
么 buffer 会 目 动 增长 以 容纳 全 部 数据 ， 得 到 的 结果 如 图 7-11 所 示 。 注 总 
readIndex 返 回 到 了 有 前面 ， 以 保持 prependable 等 于 kCheapPrependable。 由 
于 vector 单 狐 分 配 了 了 内存， 原来 指 问 其 元 系 的 指针 会 失效 ， 这 束 古 为 什 
么 readIndex 和 writeIndex 是 整数 下 标 而 不 是 指针 。 (注意 : 在 目前 的 实 
现 中 prependable 会 保持 58 字 节 ， 留 竺 将 来 修正 。) 
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0 
readIndex(®) writelndex(13538) 
silze( 1358) 
图 7-11 
然后 谈 入 350 字 节 ，readIndex 前 移 ， 如 图 7-12 所 示 。 
358 readable = 1000 writable = 0 
广 了 Es ~ 
0 
readIndex(358) writelndex(1358) 
size( 1 358) 
图 7-12 


最 后 ， 读 完 剩 下 的 1000 字 节 ，readIndex 和 writeIndex 返 回 
kCheapPrependable， 如 图 7-13 上 所 示 。 


8 _ readable = 0 writable = 1350 


0 
size( 1358) 


readlndex(s) 
writeIndex(%) 
图 7-13 

注意 buffer 并 没有 缩小 大 小 ， 下 次 写 入 1350 字 下 融 不 会 重新 分 配 内 
存 了 。 换 名 话说，muduo Buffer 的 sizeO 是 目 适 应 的 ， 它 一 开始 的 初始 值 
是 1kB 多 ， 如 果 程 序 中 经 常 收发 10kB 的 数据 ， 那 么 用 几 次 之 后 它 的 size0) 
会 目 动 增长 到 10kB， 人 然后 束 你 持 个 变 。 这 样 一 方面 吉 免 浪费 内 存 
(Buffer 的 初始 大 小 直接 决定 了 局 并 发 连接 时 的 内 存 消 耗 ) ， 男 一 方面 
避免 反复 分 配 内 存 。 当 然 ， 客 户 代 但 可 以 手动 shrink(O) buffer size()。 


size() 与 capacity() 


使 用 vector 的 男 一 个 好 处 是 它 的 capcityO0 机 制 减 少 了 内 存 分 配 的 次 
数 。 比 方 说 程序 反复 写 入 1 字 节 ，muduo Buffer 不 会 每 次 都 分 配 内 存 ， 
vector 的 capacityO 以 指数 方式 增长 ， 让 push_back0O 的 平均 复杂 虔 是 党 
数 。 比 方 说 经 过 第 一 次 增长 ，size0 了 刚好 满足 与 入 的 需求 ， 如 图 7-14 上 所 
示 。 但 这 个 时 候 vector 的 capacity0O 已 经 大 于 size0， 在 接 下 来 号 入 
capacity0O 一 size0 字 下 的 数据 时 ， 都 不 会 重新 分 配 内 存 ， 如 图 7-15 所 示 。 
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readlIndex(8) writeIndex(1358) 
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图 7-14 
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图 7-15 


思考 题 ， 为 什么 我 们 不 需要 调用 reserve() 来 预先 分 配 空间 ? 因为 
Buffer 在 构造 国 数 里 把 礼 始 size0 设 为 1KiB， 这 样 当 size(0) 超 过 1K 记 的 时 
候 vector 会 把 capacityO 加 倍 ， 等 于 说 resize0 答 我 们 做 了 reserveO 的 事 。 用 
一 段 简单 的 代码 验证 一 下 : 


vector<char> vec: 

printf("%zd %zd\n”, vec.slze(), vec.capacity()): 
VEC.reslze(18024): 

printf("%zd %zd\n”, vec.size(), vec.capacity()).; 
VEC .reslze(l1300): 

Printff( %zg %zd\n”, vec.size()}, vec.capacity())}): 


运行 结果 : 
@ 日 # 一 开始 size() 和 和 capacity() 都 是 6 
10924 10924 “ # resizef1024) 之 后 size() 和 capacity() 都 是 1824 
1300 2648  # resize( 稍 大 ) 之 后 capacity() 翻 倍 ， 相 当 于 reserve(20481 

细心 的 读者 可 能 会 发 现 用 capacity0 也 不 是 完美 的 ， 它 有 优化 的 余 
地 。 具 体 来 说 ，vector::resize() 会 初始 化 (memset(0/bzero()〉 内 存 ， 而 我 
们 不 雷 要 它 初 始 化 ， 因 为 反正 立刻 束 要 填 入 数据 。 比 如 ， 在 图 7-15 的 基 
偶 上 写 入 200 字 节 ， 由 于 capacityO 足 够 大 ， 不 会 重新 分 配 内 存 ， 这 和 古 好 
事 ; 但 是 vector'::resize0 会 先 把 那 200 字 节 memsetO 为 0 〈 见 图 7-16) ， 然 
后 muduo Buffer 再 填 入 数据 《〈 见 图 7-17) 。 这 么 做 稍微 有 点 浪费 ， 不 过 
我 不 打算 优化 它 ， 除 非 它 确实 造成 了 性 能 瓶 贷 。 精通 STL 的 读者 可 能 
会 说 用 vec.insert(vec.end0, .…) 以 避免 浪 帘 ， 但 是 writeIndex 和 size() 人 不 一定 
征 对 齐 的 ， 会 有 别 的 麻烦 。 ) 
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图 7-16 
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readlndex(8®) writeIndex( 1558) capacity() 
slze(15358) 
图 7-17 
Google Protobuf 中 有 一 个 STLStringResizeUninitialized 据 数 s， 干 的 
束 是 这 个 事情 。 
内 部 腾挪 


有 时 候 ， 经 过 若干 次 读 写 ，readIndex 移 到 了 比较 靠 后 的 位 置 ， 留 下 
了 巨大 的 prependable 至 加 ， 如 图 7-18 所 示 。 


32 readable = 300 wrltable = 200 
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readlIndex(S32) writelndex(®32) slze( 1032) 
图 7-18 


这 时 候 ， 如 果 我 们 想 写 入 300 字 节 ， 而 writable 只 有 200 字 节 ， 怎 么 
办 ? muduo Buffer 在 这 种 情况 下 不 会 重新 分 配 内 存 ， 而 是 先 把 已 有 的 数 
据 移 到 前 面 去 ， 腾 出 writable 空 间 ， 如 图 7-19 所 示 。 
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多 7-19 
然后 ， 就 可 以 写 入 300 字 节 了 ， 如 图 7-20 所 示 。 
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readlIndex(8) writelndex(008) size(l1032) 
图 7-20 


这 人 么 做 的 原因 是 ， 如 集 重 新 分 配 内 人 存 ， 反 正 也 是 要 把 数据 找 贝 到 新 
分 配 的 内 存 区 域 ， 代 价 只 会 更 大 。 


前 方 达 加 (prepend ) 


表面 说 muduo Buffer 有 个 小 小 的 创新 (或 许 不 是 创新 ， 我 记得 在 哪 
儿 看 到 过 类 似 的 做 法 ， 访 了 出 处 ) ， 即 提供 prependable 空 间 ， 让 程序 能 
以 很 低 的 代价 在 数据 前 面 添加 几 个 字 市 。 

比方 说 ， 程 序 以 固定 的 4 个 字 市 表示 消 居 的 长 度 (8§7.3“Boost.Asio 的 
聊天 服务 器 ”中 的 LengthHeaderCodec) ， 我 要 序列 化 一 个 消息 ， 但 是 不 
知道 它 有 多 长 ， 那 么 我 可 以 一 直 append(O) 直 到 序列 化 完成 (图 7-21， 写 
入 了 200 字 市 ) ， 然 后 再 在 序列 化 数据 的 前 面 添加 消息 的 长 上 度 〈 图 7- 
22， 把 200 这 个 数 prepend 到 首部 ) 。 
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图 7-21 
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readlndex(4) writelndex(208) silze( 1032) 
图 7-22 


通过 预 留 KCheapPrependable 罕 加 ， 可 以 傈 化 各 户 代 人 码 ， 以 空间 换 时 
和 以 上 各 种 use case 的 单元 测试 匈 muduo/nettestsBuffer unittest.cc 。 
7.4.6 ”其 他 设计 方 胁 

这 里 人 简单 谈 谈 其 他 可 能 的 应 用 层 buffer 设 计 方 宁 。 
不 用 vector<char> 


如 果 有 STL 洁 辛 ， 那 么 可 以 目 己 管理 内 存 ， 以 4 个 指针 为 buffer 的 成 
员 ， 数 据 结 构 如 图 7-23 所 示 。 
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图 7-23 
说 实话 我 不 觉得 这 种 方案 比 std::vector 好 。 代 码 变 复杂 了 ， 性 能 
未 见得 有 能 察觉 得 到 (noticeable) 的 改观 。 如 果 放 到 “连续 性 ”有 要求， 可 
以 用 circular buffer， 这 样 可 以 减少 一 点 内 存 捞 见 (没有 “内 部 腾挪 ”)。 


zero copy 


如 果 对 性 能 有 极 融 的 要 求 ， 受 不 了 copy0 与 resize()， 那 么 可 以 考虑 
实现 分 段 连续 的 zero copy buffer 再 配合 gather 0 IO， 数 据 结 构 如 图 7- 
24 所 示 ， 这 是 libevent 2.0.x 的 设计 方案 。TCPv2 人 介绍 的 BSD TCP/IP 实 现 
中 的 mbuf 也 是 类 似 的 方案 ， Linux 的 sk buff 估 计 也 差 不 多 。 细 节 有 出 
A 而 是 用 链表 把 数据 块 链 
|= 


evhuffer cl1: evbhuffer chain 2: evbhuffer chain 
土工 五 宫 七 站 筷 其 七 站 已 其 七 NULL 





misaligrn bytes 


off bytes 
(payload) 


UNnused 


图 7-24 


图 7-24 绘 制 的 是 由 两 个 evbuffer chain 构成 的 evbuffer， 右 边 两 个 
evbuffer_ chain 结 构 体 中 深 灰 色 的 部 分 是 payload， 可 见 evbuffer 的 绥 冲 区 
不 是 连续 的 ， 而 是 分 块 的 。 

当然 ， 蜗 性 能 的 代价 是 代码 变 得 星 深 难 恋 ，buffer 不 再 是 连续 的 ， 
parse 少 电 .会 稍微 麻烦 一 些 。 如 果 你 的 程序 只 处 理 Protobuf Message， 这 
不 是 问题 ， 因 为 te dl ine 口 ， 只 要 实现 这 个 接 
口 ，parsing 的 事情 天 区 给 Protobuf Message 去 操心 了 。 


7.4.7 ”性 能 是 不 是 问题 
看 到 这 里 ， 有 的 读者 可 能 会 咬 咕 : muduo Buffer 有 那么 多 可 以 优化 


的 地 方 ， 其 性 能 会 不 会 太 低 ? 对 此 ， 我 的 回应 是 “可 以 优化 ， 不 一 定 值 
得 优化 。” 


off bytes 
(payload) 


UBT 下 全 于 JNd 


uaT X83n9 


unused 
a 


muduo 的 设计 目标 是 用 于 开发 公司 内 部 的 分 布 式 程序 。 换 句 话 说 ， 
它 是 用 来 写 专 用 的 Sudoku server 或 者 游戏 服务 妖 ， 不 是 用 来 写 通 用 的 
proxy。 前 者 通 第 有 业务 馆 辑 ， 后 者 更 强调 高 并 及 与 融 

吐 量 。 

以 Sudoku 为 例 ， 假 设 求 解 一 个 Sudoku 问 题 需 要 0.2ms， 服 务 器 有 8 个 
核 ， 那 么 理想 情况 下 每 秒 最 多 能 求解 40000 个 问题 。 每 次 Sudoku 请 求 的 
数据 大 小 低 于 100 字 市 (一 个 9x9 的 数 独 只 要 81 字 节 ， 加 上 header 也 可 以 
控制 在 100 字 节 以 下 ) ， 也 就 是 说 100x40000 二 4MB/s 的 吞吐 量 就 足以 让 
th 在 这 种 情况 下 ， 去 优化 Buffer 的 内 存 找 贝 次 数 似 平 
没有 意义 。 

绸 举 一 个 例子 ， 目 前 最 利用 的 千 兆 以 太 网 的 裸 厨 吐 量 是 125MB/s， 
扣除 以 太 网 header、IP header、TCP header 之 后 ， 应 用 层 的 吞吐 率 大 约 
在 117MB/s 上 上 下。 而 现在 服务 器 上 最 常用 的 DDR2/DDR3 内 存 的 带宽 至 
少 是 4GB/S$， 比 于 兆 以 太 网 高 40 倍 以 上 。 也 融 是 说 ， 对 于 几 kB 或 几 十 kB 
大 小 的 数据 ， 在 内 存 中 复制 几 次 根本 不 是 问题 ， 因 为 党 千 兆 以 太 网 延迟 
中 宫 宽 的 限制 ， 跟 这 个 程序 通信 的 其 他 机 费 上 的 程序 不 会 觉察 到 性 能 于 
异 


最 后 举 一 个 例子 ， 如 果 你 实现 的 服务 程序 要 跟 数 据 库 打交道 ， 那 么 
片 颈 钊 第 在 DB 上 ， 优 化 服务 程序 本 刁 不 见得 能 提高 性 能 〈 从 DB 访 一 次 
数据 en 消 了 你 做 的 全 部 Jow-level 优 化 ) ， 这 时 不 如 把 精力 投入 在 
DB 调 优 上 。 

专用 服务 程序 与 通用 服务 程序 的 另外 一 点 区 别 是 benchmark 的 对 象 
不 同 。 如 果 你 打算 写 一 个 httpd， 目 然 有 人 会 拿 来 和 目前 最 好 的 Nginx 对 
比 ， 立 蕊 就 能 比 出 性 能 珊 低 。 然 而 ， 如 果 你 写 一 个 实现 公司 内 部 业务 的 
服务 程序 〈 比 如 分 布 式 存储 、 搜 索 、 微 博 、 短 网 址 ) ， 由 于 市 面 上 没有 
同等 功能 的 开源 实现 ， 你 不 需要 在 优化 上 投入 全 部 精力 ， 只 要 一 版 做 得 
比 一 版 好 就 行 。 先 正确 实现 所 需 的 功能 ， 投 入 生产 应 用 ， 然 后 再 根据 真 
实 的 负载 情况 来 做 优化 ， 这 和 恐 介 比 在 编码 阶段 束 育 目 调 优 要 更 effective 

muduo 的 设计 目标 之 一 是 吞吐 量 能 让 于 兆 以 太 网 饱和 ， 也 束 是 每 秒 
收发 120MB 数 据 。 这 个 很 容易 就 达到 ， 不 用 任何 特别 的 努力 。 

如 有 末 确 实在 内 存 市 宽 方 面 过 到 问题 ， 说 明 你 做 的 应 用 实在 太 
critical， 或 许 应 该 考虑 放 到 Linux kernel 里 边 去 ， 而 不 是 在 用 户 态 尝试 各 
种 优化 。 毕 竟 只 有 把 程序 做 到 kernel 里 才能 真正 实现 zero copy; 否则 ， 
核心 态 和 用 户 态 之 间 始 终 是 有 一 次 内 存 揽 贝 的 。 如 有 果 放 到 kernel 里 还 不 
能 满足 需求 ， 那 么 要 么 自己 写 新 的 kernel， 或 者 直接 用 FPGA 或 ASIC 操 
作 network adapter 来 实现 你 的 “高 性 能 服务 器 ”。 


7.5 一 种 目 动 有 反 出 消 居 类 型 的 Google Protobuf 网 
络 传 辆 方案 


本 节 假 定 读者 了 解 Google Protocol Buffers 是 什么 ， 这 不 是 一 篇 
Protobuf 入 1 教程 。 本 市 的 示例 代 人 码 位 于 examples/protobuf/codec 。 

本 要 解雇 的 问题 是 : 退 信 双方 在 编 详 时 束 共 译 proto 文 件 的 情况 
下 ， 接 收 方 在 收 到 Protobuf 二 进 制 数据 流 之 后 ， 如 何 目 动 创建 具体 奖 型 
的 Protobuf Message 对象， 并 用 收 到 的 数据 填充 该 Message 对 象 “〈“ 即 反 序 
列 化 ) 。“ 上 自动 ”的 意思 是 : 当 程 序 中 新 增 一 个 Protobuf Message 类 型 时 ， 
这 部 分 代码 不 需要 修改 ， 不 需要 目 己 去 注册 消息 闫 型 。 其 实 ，Google 
Protobuf 本 身 具 有 很 强 的 反射 〈reflection) 功能 ， 可 以 根据 type name 创 
建 具 体 交 型 的 Message 对 象 ， 我 们 特 接 利用 即 可 。z 


7.5.1 网络 编 程 中 使 用 Protobuf 的 两 个 先决 条 件 


Google Protocol Buffers 〈 简 称 Protobuf) 是 一 款 非常 优秀 的 库 ， 它 
定义 了 一 种 紧 读 (compact， 相 对 XML 和 JSON 而 言 ) 的 可 扩展 二 进 制 消 
恩 格 式 ， 特 别 适合 网 络 数据 传输 。 

它 为 多 种 语言 提供 binding， 大 大 方便 了 分 布 式 程序 的 开 友 ， 让 系统 
不 再 局 限于 用 某 一 种 语言 来 编写 。 

在 网 络 编程 中 使 用 Protobuf 需 要 解决 以 下 两 个 问题 。 


三 
应 用 程序 目 己 在 发 生 和 接收 的 时 候 做 正确 的 切 分 。 

2. 类 型 ，Protobuf 打 包 的 数据 没有 目 向 类 型 信息 ， 需 要 由 发 类 
类 型 信息 传 给 给 接收 方 ， 接 收 方 创建 具体 的 Protobuf Message 对 象 ， 
做 反 序 列 化 。 


1. 长 上 度 ，Protobuf 打 包 的 数据 没有 日 市 长 度 信息 或 终结 从 ， 需 要 由 
万 


了 把 


Protobuf 这 么 设计 的 原因 见 下 一 和 有 。 这 里 第 一 个 回 题 很 好 解决 ， 通 
第 的 做 法 是 在 每 个 消息 前 面 加 个 固定 长 度 的 langthheader， 例 如 87.3 中 实 
现 的 LengthHeaderCodec。 第 二 个 问题 其 实 也 很 好 解决 ，Protobuf 对 此 有 
内 建 的 文 持 。 但 是 奇怪 的 是 ， 从 网 上 简单 搜索 的 情况 看 ， 我 发 现 了 很 
多 “ 山 罕 ” 的 做 法 。 


“ 帆 答 ”做 法 


以 下 均 为 在 Protobuf data 之 前 加 上 header，header 中 包含 消息 长 度 和 
类 型 信息 。 类 型 信息 的 “山寨 ”做 法 主要 有 两 种 : 


:在 header 中 放 int typeld， 接 收 方 用 switch-case 来 选择 对 应 的 消 奶 类 
型 和 处理 疯 数 ; 

:在 header 中 放 string typeName， 接 收 方 用 look-up table 来 选择 对 应 的 
消息 类 型 和 处 理 函 数 。 


这 两 种 做 法 都 有 问题 。 

第 一 种 做 法 要 求 保 持 typeld 的 唯一 性 ， 它 和 Protobuf message type 一 
一 对 应 。 如 果 Protobuf message 的 使 用 范围 不 广 ， 比 如 接收 方 和 及 送 方 都 
古 目 己 维护 的 程序 ， 那 么 typeId 的 唯一 性 不 难 休 证， 用 厂 本 管理 工具 即 
可 。 如 条 Protobuf message 的 使 用 沁 围 很 大 ， 比 如 全 公司 都 在 用 ， 而 且 不 
同 部 门 开发 的 分 布 式 程序 可 能 相互 通信 ， 那 么 就 需要 一 个 公司 内 部 的 全 
和 机 构 来 分 配 typeIld， 每 次 增加 新 message type 都 要 去 注册 一 下 ， 比 较 麻 
人 人 。 

第 二 种 做 法 稍 好 一 点 。typeName 的 唯一 性 比较 好 办 ， 因 为 可 以 加 上 
packagename 〈 也 就 是 用 message 的 fully qualified type name) ， 各 个 部 门 
事先 分 好 namespace， 不 会 冲突 与 重复 。 但 是 每 次 新 增 消 息 类 型 的 时 候 
都 要 去 手工 修改 look-up table 的 初始 化 代码 ， 也 比较 矿 烦 。 

其 实 ， 不 需要 目 己 重新 及 明 轮 了 于，Protobuf 本 吴 己 经 目 市 了 解雇 方 
安 


大 o 


7.5.2 ”根据 type name 反 射 目 动 创 建 Message 对 象 


Google Protobuf 本 里 其 有 很 强 的 反映 〈reflection) 功能 ， 可 以 根据 
type name 创 建 具体 类 型 的 Message 对 象 。 但 是 奇怪 的 是 ， 其 官方 教程 里 
没有 明确 提 及 这 个 用 法 ， 我 估计 还 有 很 多 人 不 知道 这 个 用 法 ， 所 以 觉得 
值得 谈 一 谈 。 

以 下 是 笔者 绘制 的 Protobuf class diagram 〈 见 图 7-25) 。 我 估计 大 家 
通常 关心 和 使 用 的 是 这 个 类 图 的 左 半 部 分 : MessageLite、Message、 
Generated Message Types (Person、AddressBook) 等 ， 而 较 少 注意 到 图 
7-25 的 右 半 部 分 : Descriptor、DescriptorPool、MessageFactory。 

在 图 7-25 中 ， 起 关键 作用 的 是 Descriptor class， 每 个 具体 Message 
type 对 应 一 个 Descriptor 对 象 。 尽 管 我 们 疫 有 直接 调用 它 的 图 数 ， 但 是 
Descriptor 在 “根据 type name 创 建 其 体 类 型 的 Message 对 象 " 中 扮 冰 了 重要 
的 角色 ， 起 了 桥 染 作用 。 图 7-25 中 的 ~ 箭头 摘 述 了 根据 type name 创 建 具 


体 Message 对 象 的 过 程 ， 后 文 会 详细 介绍 。 
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图 7-25 
原理 简 述 


Protobuf Message class 采 用 了 Prototype pattern*，Message class 定 义 
了 New0 庶 函数 ， 用 以 返回 本 对 象 的 一 份 新 实体 ， 关 型 与 本 对 象 的 趴 实 
类 型 相同 。 也 束 是 说 ， 拿 到 Message* 指 针 ， 不 用 知道 它 的 具体 类 型 ， 惑 
能 创建 和 其 类 型 一 样 的 具体 Message type 的 对 象 。 

每 个 具体 Message type 都 有 一 个 default instance， 可 以 通过 
ConcreteMessage::default_instance() 获 得 ， 也 可 以 退 过 
MessageFactory::GetPrototype(const Descriptor*) 来 获得 。 所 以 ， 现 在 问题 
转变 为 : 1. 如 何 全 到 MessageFactory; 2. 如 何 拿 到 Descriptor*。 

当然 ，ConcreteMessage::descriptor() 返 回 了 我 们 想 要 的 Descriptor*， 
但 是 ， 在 不 知道 ConcreteMessage 的 时 候 ， 如 何 调 用 它 的 静态 成 员 国 数 
呢 ? 这 似乎 是 个 鸡 与 重 的 问题 。 

我 们 的 瑞 雄 是 DescriptorPool， 它 可 以 根据 type name 合 到 
Descriptor+， 只 要 找到 合适 的 DescriptorPool， 再 调用 
DescriptorPool::FindMessageTypeByName(const string& type_name)B 
可 。 看 到 图 7-25 是 不 是 眼前 一 亮 ? 

在 最 终 解 决 问题 之 前 ， 先 简单 测试 一 下 ， 看 看 我 上 面 说 得 对 不 对 。 


验证 思路 
本 文 用 于 举例 的 proto 文 件 : 


examples/protobuf/codec/guery.proto 
package muduo; 


message Query { 
required int64 id = 1: 
required string gquestioner = 2; 


repeated string question = 3: 


】} 


message Answer 1 
required int64 id = 1: 
required string gquestioner = 2; 
required string answerer = 3; 


repeated string solution = 4; 


} 


message Empty 1{ 
optional int32 id = 1: 
} 
examples/protobuf/codec/query.proto 
其 中 的 Query.qguestioner 和 Answer.answerer 是 89.4 提 到 有 的 “分 布 式 系统 
中 的 进程 标识 ”。 
以 下 代码 # 验 证 ConcreteMessage::default_instance()、 
Concrete Message:: descriptor()、MessageFactory::GetPrototype()、 
DescriptorPool::FindMessageTypeByName() 之 间 的 不 变 式 (invariant) ， 
注意 其 中 的 assert: 


typedef muduo::Query T; 


std::string type_name = T::descriptor{)}->full_name(); 
cout << type_name << endl; 


const Descriptor* descriptor 
= DescriptorPool: :generated_pool()->FindMessageTypeByName (type_name); 
assert(descriptor == T::descriptord)): 
cout << "FindMessageTypeByName() = " << descriptor << endl]l: 
cout << "T::descriptor 人 dO "<< T::descriptor() << endl: 
cout << endl: 


const Message* prototype 

= MessageFactory: :generated_factory()->GetPrototype(descriptor): 
assert(prototype == &T::default_instance()): 
cout << "GetPrototype() ”<< prototype << endl; 
cout << "T::default_instancel) " << &T::default_instance(y) << endl: 
cout << endl; 


Tx new_ob] = dynamic_cast<T*>(prototype->New()); 
asserttnew_ob] != NULL):; 


assert(new_obj != prototype): 
assert(typeid(*new_obj]) == typeidT::default_instance())); 
cout << "prototype->New() = ”<< new_ob]j << endl: 


cout << endl: 
delete new_obij: 


程序 运行 结果 如 下 : 
muduo. Query 


FindMessageTlypeByName() = Oxd4er20 
T::descriptorf Bxd4e728 


Il 


GetPrototype() = xd47719 
T::default_instance() = @xd47719 


prototype->New() = Oxd459e0 
根据 type name 自 动 创建 Messagee 的 关键 代码 
好 了 ， 万 事 俱 备 ， 开 始 行 动 : 
1. 用 DescriptorPool::generated_pool() 找 到 一 个 DescriptorPool 对 象 ， 


它 包 含 了 程序 编译 的 时 候 所 链接 的 全 部 Protobuf Message types。 
2. 根据 type name 用 DescriptorPool::FindMessageTypeByNameO 和 三 找 


Descriptor。 

3. 有 再 用 MessageFactory::generated_factory(0) 找 到 MessageFactory 对 
象 ， 它 能 创建 程序 编译 的 时 候 所 链接 的 全 部 Protobuf Message types。 

4. 然后 ， 用 MessageFactory::GetPrototype() 找 到 具体 Message type 的 
default instance。 


5. 最 后 ， 用 prototype->New0 创 建 对 象 。 
示例 代码 如 下 。 


examples/protobuf/codec/codec.cc 
147 Message* createMessage(const std::string& typeName) 


148 二 
149 Message*x message = NULL.: 
150 const Descriptor* descriptor 
151 = DescriptorPool: :generated_pool1()->FindMessageTypeByName (typeName); 
152 if (descriptor) 
153 
154 const Message* prototype 
155 = MessageFactory: :generated_factory(}->GetPrototype(descriptor):; 
156 if (prototype) 
157 
158 message = PrototyYpe=->Newr ) ; 
159 } 
160 } 
161 return message; 
162  } 
examples/protobuf/codec/codec.ce 
调用 方式 : 


Message* NewQuery = createMessage( muoguo .Queryv 1) ; 

assert(newQuery != NULL)Y: 

assert(typeid(*newQuery) == typeidtmuduo: :Query: :default_instance())); 

cout << "createMessage(\"muduo.Query\") = ”<< newQuery << endl]l: 

确实 能 从 消 姑 名称 创 建 消 恩 对象， 上 古 之 人 不 余 欺 也 :-) 

注意，createMessage() 返 回 的 是 动态 创建 的 对 象 的 指针 ， 调 用 方 有 
shared_ptr<Message> 来 和 目 动 管理 Message 对 象 的 生命 期 。 

拿 到 Message* 之 后 怎么 办 有 昵 ? 怎么 调用 这 个 具体 消息 次 型 的 处 理 肯 
数 ? 这 就 需要 消息 分 发 器 〈dispatcher) 出 马 了 ， 且 上 听 下 回 分 解 。 


线程 安全 性 


Google 的 文档 说 ， 我 们 用 到 的 那儿 个 MessageFactory 和 
DescriptorPool 都 是 线程 安全 的 ，Message::New0 也 是 线程 安全 的 。 并 且 


它们 都 是 const member function。 天 键 问 题解 次 了 了， 那么 剩 下 的 工作 吏 
是 设计 一 种 包含 长 度 和 消息 类 型 的 Protobuf 传 输 格 式 。 


7.5.3 ”Protobuf 传 输 格 式 
笔者 设计 了 一 个 简单 的 格式 ， 包 含 Protobuf data 和 其 对 应 的 长 大 与 
类 型 信息 ， 消 息 的 末尾 还 有 一 个 check sum。 格 式 如 图 7-26 所 示 ， 图 中 方 
块 的 宽度 是 32-bit。 
上 个 站 >= 10 
nameLen | >=2 


message . 
二 nameLen bytes, end with \ 0 
name 


len bytes 


protobuf 
data 


(len-nameLen-—8) bytes 





- 
checkSum adler32 of above 


图 7-26 


用 C struct 仿 代码 摘 述 : 


struct ProtobufTransportFormat __attribute__ ((__packed__})) 


t 
int32_t len: 
int32_t nameLen.: 
char typeNameLnameLen |; 
char protobufData[Llen-nameLen-8]; 


int32_t checkSum; // adler32 of nameLen, typeName and protobufData 
时 
注意 ， 这 个 格式 不 要 求 32-bit 对 齐 ， 我 们 的 decoder 会 目 动 处 理 非 对 
齐 的 消息 。 


例子 
用 这 个 格式 打包 一 个 muduo.Query 对 象 的 结果 如 图 7-27 所 示 。 


len 43 


43 bytes 


protobuf 
data 


23 bytes 





| checksum | 0x15C51982 
图 7-27 
设计 决策 
以 下 是 我 在 设计 这 个 传输 格式 时 的 考虑 : 


signed int。 谢 妃 中 的 长 度 字 段 只 使 用 了 signed 32-bit int， 向 没有 使 
用 unsigned int， 这 是 为 了 跟 语 言 移植 性 ， 因 为 Java 语 言 没 有 unsigned 类 
型 。 男 外 ，Protobuf 一 般 用 于 打包 小 于 1MB 的 数据 ，unsigned int 也 没 


用 。 

check sum。 虽 然 TCP 是 可 靠 传输 协议 ， 虽 然 EFthernet 有 CRC-32 校 
验 ， 但 是 网 络 传输 必须 要 考虑 数据 损坏 的 情况 ， 对 于 关键 的 网 络 应 用 ， 
check sum 是 必 不 可 少 的 。 见 SA.1.13“TCP 的 可 靠 性 有 多 高 ”。 对 于 
Protobuf 这 种 紧凑 的 二 进 制 格 却 而 言 ， 肉眼 看 不 出 数据 有 没有 问 题 ， 需 
要 用 check sum。 

:adler32 算 法 。 我 没有 选用 音 见 的 CRC-32， 而 是 选用 了 adler32， 
为 它 的 计算 量 小 、 速 度 比 较 快 ， 强 度 和 CRC-32 关 不 多 。 画 外 ，zlib 和 
java.unit. ip 部 直接 支持 这 个 算 法 ， 个 用 我 们 自己 实现 。 

:type name 以 \0' 结 束 。 这 是 为 了 方便 troubleshooting， 比 如 通过 
tcpdump 抓 下 来 的 包 可 以 用 肉眼 很 容易 看 出 type name， 而 不 用 根据 
nameLen 去 一 个 个 数字 季 。 同 时 ， 为 了 方便 接收 方 处 理 ， 加 入 了 
nameLen， 有 省 了 strlen0， 这 是 以 空间 换 时 间 的 做 法 。 

:没有 版 本 号 。Protobuf Message 的 一 个 突出 优点 是 用 optional fields 
来 避免 协议 的 版 本 号 〈 几 是 在 Protobuf Messaue 里 放 版 本 号 的 人 都 没有 


理解 Protobuf 的 设计 ， 其 至 可 能 没有 仔细 阅读 Protobuf 的 文档 *22) ， 让 
通信 双方 的 程序 能 各 日 升级 ， 便 于 系统 演化 。 如 果 我 设计 的 这 个 传输 格 
陈 又 把 版 本 气 加 进去 ， 那 束 男 蛇 添 足 了 。 


Protobuf 可 谓 是 网 络 协议 格 却 的 典范 ， 值 得 我 单独 伦 一 节 扁 幅 讲述 
其 思想 ， 见 89.6.1“ 可 扩展 的 消息 格式 ”。 


7.6 在 muduo 中 实现 Protobuf 编 解码 器 与 消息 分 
及 船 


本 节 是 前 一 节 的 自然 延续 ， 介 绍 如 何 将 前 文 介绍 的 打包 方案 与 
muduo::net:: Buffer 结 合 ， 实 现 Protobuf codec 和 dispatcher。 
在 介绍 codec 和 dispatcher 之 前 ， 先 讲 讲 前 文 的 一 个 未 决 问题 。 


为 什么 Protobuf 的 默认 序列 化 格式 没有 包含 消息 的 长 度 与 类 型 


Protobuf 古 经 过 深思 敦 虑 的 消 明 打包 方案 ， 它 的 默认 序列 化 格式 没 
有 人 包含 消 明 的 长 度 与 类 型 ， 日 然 有 其 道理 。 哪 些 情况 下 不 需要 在 
Protobuf 序 列 化 得 到 的 字 市 流 中 包含 消 恩 的 长 度 和 或 ) 类型? 我 能 想 
到 的 从 条 有 有 : 


:如 末 把 消息 写 入 文件 ， 一 个 文件 存 一 个 消 轧 ， 那 么 序列 化 结束 中 
人 因为 从 文件 名 和 文件 长 上 度 中 可 以 得 知 消 居 的 类 
es No 

:如 采 把 消息 写 入 文件 ， 一 个 文件 存 多 个 消 轧 ， 那 么 序列 化 结束 中 
不 需要 包含 美 型 ， 因 为 文件 名 就 代表 了 消息 的 奖 型 。 

:如 果 把 消息 存 入 数据 库 〈 或 者 NoSQL ) ， 以 VARBINARY 字 段 保 
存 ， 那 么 序列 化 结果 中 不 需要 包 舍 长 度 和 类 型 ， 因 为 从 字段 名 和 字段 长 
度 中 可 以 得 知 消 因 的 类 型 与 长 大。 

如果 把 消 居 以 UDP 方 式 发 送 给 对 方 ， 而 且 对 方 一 个 UDP port 只 接收 
一 种 消 奶 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 长 上 度 和 类 型 ， 因 为 从 port 
和 UDP packet 长 度 中 可 以 得 知 消 上 息 的 次 型 与 长 度 。 

如果 把 消 居 以 TCP 短 连接 方式 发 给 对 方 ， 而 且 对 方 一 个 TCP port 只 
接收 一 种 消 奶 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 长 度 和 类 型 ， 因 为 从 
port 和 和 TCP 他 节 流 长 上 度 中 可 以 得 知 消 居 的 类 型 与 长 度 。 

:如 有 果 把 消息 以 TCP 长 连接 方式 肥 给 对 方 ， 但 是 对 方 一 个 TCP port 只 


接收 一 种 消 居 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 类 型 ， 因 为 port 代 表 
了 消 晨 的 类 型 。 

如果 玉 用 RPC 方 式 通 信 ， 那 么 只 需要 告诉 对 方 method name， 对 方 
目 然 能 推 新 出 Request 和 Response 的 消息 类 型 ， 这 些 可 以 由 protoc 生 成 的 
RPC stubs 目 动 搞 定 。 


对 于 以 上 最 后 一 点 ， 比 方 说 sudoku.proto 的 定义 是 : 

seErvlice SUdokuSeryvice { 
rpc Solve (SudokuRequest) returns (SudokuResponse).; 

s 
那么 RPC method SudokuService.Solve 对 应 的 请 求 和 啊 应 分 别 是 
SudokuRequest 和 SudokuResponse。 在 发 迹 RPC 请 求 的 时 候 ， 不 需要 包 合 
SudokuRequest 的 类 型 ， 只 需要 及 送 method name SudokuService.Solve， 
对 方 自然 知道 应 该 按照 SudokuRequest 来 解析 〈parse) 请 求 。 

对 于 上 述 这 些 情况 ， 如 果 Protobuf 无 条 件 地 把 长 度 和 类 型 放 到 序列 
化 的 字 节 串 中 ， 只 会 浪费 网 络 融 守 和 存储 。 可 见 Protobuf 默 认 不 发 送 长 
上 肛 和 类 型 是 正确 的 决定 。Protobuf 为 消 居 格式 的 设计 树立 了 典 郊 ， 哪 些 
该 目 己 搞定 ， 哪 些 留 给 外 部 系统 去 解决 ， 这 些 都 考虑 得 很 清楚 。 

只 有 在 使 用 TCP 长 连接 ， 晶 在 一 个 连接 上 传递 不 止 一 种 消 因 的 情况 
下 《比方 同时 发 Heartbeat 和 RequesVResponse) ， 才 需要 我 前 文 提 到 的 
那 种 打包 方案 2。 这 时 候 我 们 需要 一 个 分 发 右 dispatcher， 把 不 同类 型 的 
消息 分 给 各 个 消息 处 理 函 数 ， 这 正 是 本 节 的 主题 之 一 。 

以 下 均 只 考虑 TCP 长 连接 这 一 应 用 场景 。 先 谈 谈 编 解码 器 。 


7.6.1 ”什么 是 编 解 码 硕 〈codec) 


编 解 码 需 〈codec) 2 是 encoder 和 decoder 的 缩写 ， 这 是 一 个 软 人 硬件 
RN 的 术语 ， 这 里 我 借 指 “ 把 网 络 数据 和 业务 消 居 之 间 互 相 转 

在 最 简单 的 网 络 编程 中 ， 没 有 消息 (message) ， 只 有 了 平市 流 数 
据 ， 这 时 候 是 用 不 到 codec 的 。 比 如 我 们 前 面 讲 过 的 echo server， 它 只 需 
要 把 收 到 的 数据 原封 不 动 地 发 送 回去 ， 而 不 必 关 心 消 因 的 边界 (也 没 
有 “消息 ”的 和 概念) ， 收 多 少 束 发 多 少 ， 这 种 情况 下 它 干 脆 直 接 使 用 
muduo::net::Buffer， 取 到 数据 再 交 给 TcpConnection 发 送 回 去 ， 如 图 7-28 
所 示 。 


















































:TcpGonnection :EchoServer ‘Buffer 


” ， handleRead() 
| onNMessage(lBuffer) 


retrieveAsString() 








msg : string 
send{msg) a 





| 


图 7-28 


non-trivial 的 网 络 服务 程序 通 章 会 以 请 妃 为 单位 来 通信 ， 每 条 消 电 
有 明确 的 长 上 度 与 界限 。 程 序 每 次 收 到 一 个 完整 的 消 恩 的 时 候 才 开始 处 
理 ， 发 运 的 时 候 也 是 把 一 个 完整 的 消 晨 交 给 网 络 库 。 比 如 我 们 前 面 讲 过 
的 asio chat 服 务 ， 它 的 一 条 聊天 记录 束 是 一 条 消息 。 为 此 我 们 设计 了 一 
个 人 简单 的 消 奶 格式， 即 在 聊天 记录 前 面 加 上 4 字 节 的 length header， 
LengthHeaderCodec 代 码 及 解说 见 $7.3。 

codec 的 基本 功能 之 一 是 做 TCP 分 包 : 人 确定 每 条 消 明 的 长 上 度 ， 为 消 电 
划分 界限 。 在 non-blocking 网 络 编程 中 ，codec 几 乎 是 必 不 可 少 的 。 如 末 
只 收 到 了 半 条 消 忠 ， 那 么 不 会 触 友 消 居 事件 回调 ， 数 据 会 保留 在 Buffer 
里 《数据 已 经 谈 到 Buffer 中 了 ) ， 等 竺 收 到 一 个 完整 的 消息 再 通知 处 理 
图 数 。 既 然 这 个 任务 太 营 见 ， 我 们 干 脐 做 一 个 utility class， 和 避免 服务 六 
和 客户 问 程 序 都 要 目 己 处 理 分 包 ， 这 了 台 有 了 LengthHeaderCodec。 这 个 
codec 有 的 使 用 有 点 奇怪 ， 不 需要 继承 ， 它 也 没有 基 类 ， 只 要 把 它 当 成 普 
通 data member 来 用 ， 把 TcpConnection 的 数据 “ 喂 2 给 它 ， 然 后 同 它 注册 
onXXXMessage0 回 调 ， 代 码 见 asio chat 示 例 。muduo 里 的 codec 都 是 这 样 
的 风格 : 通过 boost::function 医 合 到 一 起 。 

codec 是 一 层 则 接 性 ， 它 位 于 TcpConnection 和 ChatServer 之 间 ， 拦 截 
处 理 收 到 的 数据 〈Buffer) ， 在 收 到 完整 的 消息 之 后 ， 解 出 消息 对 象 

(std::string) ， 有 再 调用 CharServer 对 应 的 处 理 函 数 。 注 意 

CharServer::onStringMessage() 有 的 参数 是 std::string， 不 再 是 
muduo::net::Buffer， 也 就 是 说 LengthHeaderCodec 把 Buffer 解 人 成 了 


string。 男 外 ， 在 发 这 消 明 的 时 候 ，ChatServer 通 过 
LengthHeaderCodec::send0 来 发 送 string，LengthHeaderCodec 负 责 把 它 编 
但 成 Buffer。 这 正 古 “ 编 解 色 右 ”名 学 的 由 来 。 消 居 流 程 如 图 7-29 所 示 。 








:TcpCGonnection | :LengthHeaderCGodec | ‘ChatServer 
handleRead!) | 
[a onMessagelBuffer) : 
jecodel() 


onstrngMessagelstring) 


send{string) 


send{Buffter) 





图 7-29 
Protobuf codec 与 此 非常 类 似 ， 只 不 过 消息 闫 型 从 std::string 变 成 了 
protobuf::Message。 对 于 只 接收 处 理 Query 消 上 息 的 QueryServer 来 说 ， 用 
ProtobufCodec 非 党 方便 ， 收 到 protobuf::Message 之 后 同 下 转型 成 Query 来 
用 束 行 〈“ 见 图 7-30) 。 
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图 7-30 


如 果 要 接收 处 理 不 止 一 种 消息 ，ProtobufCodec 了 恐怕 还 不 能 单独 完成 
工作 ， 请 继续 上 阅读 下 文 。 


7.6.2 ”实现 ProtobufCodec 


Protobuf 的 打包 方案 我 已 经 在 前 一 和 中 讲 过 。 编 码 算 法 很 百 帘 了 
当 ， 按 照 前 文 定 义 的 消 因 格式 一 路 打包 下 来 ， 最 后 更 新 一 下 站 部 的 长 度 
即 可 。 代 码 位 于 examples/protobuf/codec/codec.cc 中 的 
ProtobufCodec::fillEmptyBuffer( )。 

解 公 算法 有 几 个 要 扣 : 


-protobuf::Message 是 new 出 来 的 对 象 ， 它 的 生命 期 如 何 管理 ? 
muduo 采 用 shared_ptr<Message> 来 自动 管理 对 象 生 命 期 ， 与 整体 风格 保 
持 一 致 。 

:出 销 如 何 处 理 ? 比方 说 长 度 超 出 范围 、check sum 不 正确 、message 
type name 不 能 识别 、message parse 出 错 等 等 。ProtobufCodec 定 义 了 
ErrorCallback， 用 户 代 码 可 以 注册 这 个 回调 。 如 有 果 不 注 册 ， 默 认 的 处 理 
是 断 开 连接 ， 让 客户 重 连 重 试 。codec 的 单元 测试 里 模拟 了 各 种 出 错 情 


:如 何 处 理 一 次 收 到 半 条 消息 、 一 条 消息 、 一 条 半 消 息 、 两 条 消息 
等 等 情况 ? 这 是 每 个 non-blocking 网 络 程序 中 的 codec 都 要 面 对 的 问题 。 


党 


在 此 处 的 示例 代码 中 我 们 已 经 解决 了 这 个 问题 。 


ProtobufCodec 在 实际 使 用 中 有 明显 的 不 足 : 它 只 人 负 贡 把 Buffer 转 换 
为 具体 类 型 的 Protobuf Message， 每 个 应 用 程序 拿 到 Message 对 象 之 后 还 
要 再 根据 其 具体 类 型 做 一 次 分 及 。 我 们 可 以 考虑 做 一 个 简单 通用 的 分 及 
侯 dispatcher， 以 徐 化 客户 代码 。 

此 外 》 站 前 ProtobufCodec 的 实现 非常 初级 》 它 没 有 充分 利用 
ZeroCopyInputStream 和 ZeroCopyOutputStream， 而 是 把 收 到 的 数据 作为 
byte array 交 给 Protobuf Message 去 解析 ， 这 给 性 能 优化 留 下 了 空间 。 
Protobuf Message 不 要 求 数 据 连 续 〈 像 vector 那 样 ) ， 只 要 求 数 据 分 段 连 
续 ( 像 deqgue 那 样 )， 这 给 buffer 管 理 市 来 了 性 能 上 的 好 处 (避免 重新 分 
配 内 存 ， 减 少 内 存 人 肆 厂 ) ， 当 然 也 使 得 代码 变 得 更 为 复杂 。 
muduo::net::Buffer 非 党 简单 ， 它 内 部 是 vector<char>， 我 目前 不 想 让 
Protobuf 影 响 muduo 本 喘 的 议 计 ， 毕 竟 muduo 十 个 通用 的 网 络 库 ， 不 是 为 
实现 Protobuf RPC 而 特制 的 。 


7.6.3 消息 分 有 友 左 〈dispatcher) 有 什么 用 


前 面 提 到 ， 在 使 用 TCP 长 连接 ， 量 在 一 个 连接 上 传递 不 止 一 种 
Protobuf 消 奶 的 情况 下 ， 客 户 代 人 码 需 要 对 收 a 到 的 消 恩 按 类 型 做 分 友 。 上 比 
方 说 ， 收 到 Logon 消 上 息 束 交 给 QueryServer::onLogon() 去 人 处理， 收 到 
Query 消 息 就 交 给 QueryServer::onQuery0O 去 处 理 。 这 个 消息 分 派 机 制 可 
以 做 得 稍微 有 点 通用 性 ， 让 所 有 muduo+Protobuf 程 序 受 益 ， 而 且 不 增加 
复杂 性 。 

换 句 话说 ， 又 是 一 层 间 接 性 ，ProtobufCodec 拦 堆 了 TcpConnection 
的 数据 ， 把 它 转 换 为 Message，ProtobufDispatcher 拦 截 了 ProtobufCodec 
的 callback， 按 消息 具体 类 型 把 它 分 派 给 多 个 callbacks， 如 图 7-31 所 示 。 


:TcpCGonnection :ProtobufCGodec :ProtobufDispatcher :QUeryServer 
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和 = 一 onMessageltBuffer') 
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取决 于 Message 的 真实 类 型 


-~ onProtobuf\/MlessagelMessage) 
一 和 onLogon{Logon) 
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sendlBuffer) 


图 7-31 
7.6.4 ”ProtobufCodec 与 ProtobufDispatcher 的 综合 运用 


我 写 了 两 个 示例 代码 ，client 和 server， 把 ProtobufCodec 和 
ProtobufDispatcher 串 联 起 来 使 用 。server 啊 以 Query 消 恕 ， 发 送 回 Answer 
消 晨 ， 如 果 收 到 未 知 消 居 类 型 ， 则 汤 开 连接 。client 可 以 选择 发 送 Query 
或 Empty 消息 ， 由 命令 行 控 制 。 这 样 可 以 测 斌 unknown message 
calljback 。 

为 下 省 扁 幅 ， 这 里 束 不 列 出 代 公 了 ， 见 
examples/protobuf/codec/{client, serverl.cc 。 

在 构造 函数 中 ， 通 过 注册 回调 函数 把 四 方 〈TcpConnection、 


codec、dispatcher、QueryServer) 结合 起 来 。 


7.6.5 ”ProtobufDispatcher 的 两 种 实现 


要 完成 消息 分 友 ， 其 实 融 是 对 消息 做 type-switch， 这 似乎 是 一 个 bad 
smell， 但 是 Protobuf Message 的 Descriptor 没 有 留 下 定制 点 (比如 暴露 一 
个 boost::any 成 员 ) ， 我 们 只 好 硬 来 了 。 

先 定 义 ProtobufMessageCallback[9| 调 : 


typedef boost::function<void (Message*)> ProtobufMessageCallback: 


注意 ， 本 节 出 现 的 不 是 muduo dispatcher 的 真实 代码 ， 仅 为 示意 ， 突 
出 重点 ， 便 于 男 狗 . 

ProtobufDispatcherLite 的 结构 非常 人 简单“ 见 图 7-32〉， 它 有 一 个 
map<Descriptor*, ProtobufMessageCallback> 成 员 ， 和 客户 代码 可 以 以 
Descriptor* 为 key 注 册 回 调 〈( 回 想 : 每 个 具体 消息 并 型 都 有 一 个 全 局 的 
Descriptor 对 象 ， 其 地 址 是 不 变 的 ， 可 以 用 来 当 key) 。 在 收 到 Protobuf 
Message 之 后 ， 在 map 中 找到 对 应 的 ProtobufMessageCallback， 然 后 调用 
之 。 如 末 找 不 到 ， 束 调用 defaultCallback。 


ProtobufDispatcherLite 
map<Descriptor ,ProtobufWMessagecallback> 


registerCallback(Descriptor*, ProtobufMessageCallback) 
onMessagel(Message* pMsg) 0 


boost::function<void (Message lj> cb = callbacks [pMsg->GetDescriptor()]l; 
cb{pMsg); 


图 7-32 
不 过 ， 它 的 设计 也 有 小 小 的 缺陷 ， 那 束 是 ProtobufMessageCallback 
限制 了 客户 代码 只 能 接受 基 类 Message， 客 户 代 码 需 要 自己 做 癌 下 转型 
(down cast)， 如 图 7-33 所 示 。 


QueryServer 发 
Logor pL = dynamic cast<Logon’>(pM\sg). 

onLogon(Message’) 0 | 这 ] 
onQuery(Message’) 中 -| Query” pQ = dynamic_ cast<Query">{(pMsg); 一 
R= 过 oa 亲人 全 本 和 的 机 


图 7-33 
如 果 我 希望 QueryServer 这 人 么 设计 : 不 想 每 个 消息 处 理 函 数 上 自己 做 
down cast， 而 是 交 给 dispatcher 去 处 理 ， 客 户 代 码 拿 到 的 就 已 经 是 想 要 的 
具体 类 型 。 接 口 如 图 7-34 所 示 。 


QueryServer | 


onLogon(Logon”) 
| onQuery(Query’ |) 


图 7-34 


那么 该 如 何 实 现 ProtobufDispatcher 呢 ? 它 如 何 与 多 个 未 知 的 消 奶 类 
型 合作 ? 做 down cast 需 要 知道 目标 类 型 ， 难 填 我 们 要 用 一 长 串 模板 类 型 
参数 吗 ? 

有 一 个 办 法 ， 把 多 态 与 模板 结合 ， 利 用 templated derived class 来 提 
供 类 型 上 的 灵活 性 。 设 计 如 图 7-35 所 示 *。 


ProtobufDispatcher | 1 | Callback 


| ee | 
map<Descriptor”, Callback’> | | 
0、c | onMessagelMessage”) 
' onMessagelMessage” pMsg) 一 一 一 一 一 

' template<typename T> 


’ ] Tis derived from Message ~ 
| registerCGallback( Descriptor®, CB<T>) | . | 








Te 
CallbackT 


callback_: boost::function<void( T")> 
onMessagelMessage” pMsg}) 5 | | 


-Tp= dynamic cast<T*>(pMsg); 
callback_{p). 


图 7-35 
ProtobufDispatcher 有 一 个 模板 成 员 孙 数 ， 可 以 接受 注册 任意 消 居 类 
型 T 的 回调 ， 然 后 它 创建 一 个 模板 化 的 派生 类 CallbackT<T>， 这 样 消 胀 
的 类 型 信息 束 保 存在 了 CallbackT<T> 中 ， 做 down cast 束 简单 了 。 
比方 说 ， 我 们 有 两 个 具体 消息 区 型 Query 和 Answer 〈 见 图 7-36) 。 


Message 





Query Answer 


然后 我 们 这 样 注册 回调 : 


dispatcher_.reglsterMessageCallback<muduo: :QUuery>( 


boost: :bind(&QueryServer: :onQuery, this, _1, _2, _3)); 
dispatcher_.registerMessageCallback<muduo: :Answer>t( 
boost: :bind(&QueryServer: :onAnswer, this, _1, _2, _3)): 


这 样 会 具 现 化 (instantiation〉 出 两 个 CallbackT 实 体 ， 如 图 7-37 所 示 。 


Callback 





onMessaogellessage’) 








CallbackT 一- 一- 一- 一- 一--- | 






callback_: boost::function=<yvoidi Ansywer’ )> 


callback - boost-:function<vod( Query™)> 
unMessagelMessage’) unMessagelMessage’l 
图 7-37 


以 上 设计 参考 了 shared_ptr 的 deleter，Scott Meyers 也 谈 到 过 *。 





7.6.6 ”ProtobufCodec 和 ProtobufDispatcher 有 何 意义 


ProtobufCodec 和 ProtobufDispatcher 把 每 个 直接 收发 Protobuf Message 
的 网 络 程 序 都 会 用 到 的 功能 提炼 出 来 做 成 了 公用 的 utility， 这 样 以 后 新 
写 Protobuf 网 络 程序 束 不 必 为 打包 分 包 和 消 居 分 发 胃 神 了 。 它 俩 以 库 有 的 
形式 存在 ， 是 两 个 可 以 拿 来 就 当 data member 用 的 class。 它 们 没有 基 类 ， 
也 没有 用 到 虚 图 数 或 者 别 的 什么 面 回 对 象 特 征 ， 不 侵入 muduo::net 或 者 
你 的 代码 。 如 宁 不 这 么 做 ， 那 将 来 每 个 Protobuf 网 络 程序 都 要 目 己 重新 
实现 类 似 的 功能 ， 徒 增 负 担 。 

89.7“ 分 布 式 程序 的 目 动 化 回归 测试 ?会 介绍 利用 Protobuf 的 路 语言 特 
性 ， 采 用 Java 为 C++ 服务 程序 编写 test harness。 

这 种 编码 方案 的 Java Netty 示 例 代 人 码 见 
http://github.com/chenshuo/muduo-protorpc 中 的 com.chenshuo.muduo.codec 
package。 


7.7 ”限制 服务 冲 的 最 大 并 友 连 接 数 


本 节 以 大 家 部 熟悉 的 EchoServer 为 例 ， 介 绍 如 何 限制 TCP 服 务 妖 的 
并 发 连接 数 。 代码 见 examples/maxconnection/ 。 

本 节 中 的 “并 发 连接 数 ” 是 指 一 个 服务 并 程序 能 同时 支持 的 客户 病 连 
接 数 ， 连 接 由 客户 冰 主 动 发 起 ， 服 务 问 被 动 接受 〈accept(2) ) 连接 。 
《如果 要 限制 应 用 程序 主动 发 起 的 连接 ， 则 问题 要 人 简单 得 多 ， 毕 葛 主 动 
权 和 决定 权 痢 在 程序 本 对。) 


7.7.1 为 什么 要 限制 并 友 连 接 数 


一 方面 ， 我 们 不 希望 服务 程序 超载 ; 另 一 方面 ， 更 因为 
filedescriptor 是 稀缺 资源 ， 如 果 出 现 filedescriptor 耗 尽 ， 很 环 手 ， 
跟 *malloc0O 失 败 mew 抛 出 std::bad_alloc”* 甜 不 多 同样 琼 手 。 

我 2010 年 10 月 在 《分 布 式 系统 的 工程 化 开 肥 方法 》 演 讲 z 中 兽 谈 到 
libev 的 作者 Marc Lehmann 建 议 的 一 种 应 对 “acceptO 时 file descriptor 耗 
尺 ” 的 办 法 *。 

在 服务 病 网 络 编程 中 ， 我 们 通常 用 Reactor 模 式 来 处 理 并 发 连接 。 
listening socket 是 一 种 特殊 的 IO 对 象 ， 当 有 新 连接 到 达 时 ， 此 listening 文 
件 摘 述 符 变 得 可 访 (POLLIN ) ，epoll_wait 返 二 事件 。 然 后 我 们 用 
accept(2) 系 统 调 用 获得 新 连接 的 socket 文 件 描述 符 。 人 代码 主体 逻辑 如 下 

(Python ) : 


1 Serversocket = socket.socket{({socket,.AF_INET, socket,SOCK_STREAM) 
2 serversocket.bind((  ，20 和 门 ) 

3 serversocket,1isten(s) 

4 serversocket.setblockine(0) 

5 

6 poll = select.poll() # epoll() should work the same 

7 poll.reglister(serversocket.fileno(), select.POLLIN) 

8 connections = {1} 

9 

10 while True: 

11 events = poll.poll(18068) # 18 seconds 

12 for fileno, event in events: 

13 if fileno == serversocket.fileno(l): 

14 (clientsocket, address) = Serversocket .accept( 

15 clientsocket.setblocking(0) 

16 poll.register(clientsocket.fileno()}, select.POLLIN) 
17 connectionslclientsocket.fileno()] = clientsocket 
18 elif event & select.POLLIN: 


19 间 ,,， 


假如 L14 的 accept(2) 返 回 EMEILE 访 如何 应 对 ? 这 意味 着 本 进程 的 文 
件 摘 述 符 已 经 达到 上 限 ， 无 法 为 新 连接 创建 socket 文 件 摘 述 符 。 但 是 ， 
既然 没有 socket 文 件 摘 述 符 来 表示 这 个 连接 ， 我 们 融 无 法 close(2) 它 。 程 
序 继续 运行 ， 回 到 L11 再 一 次 调用 epoll_wait。 这 时 候 epoll_wait 会 立刻 返 
回 ， 因 为 新 连接 还 等 待 处 理 ，listening fd 还 是 可 读 的 。 这 样 程序 立刻 就 
陷入 了 busy loop，CPU 占 用 梁 接 近 100%. 这 既 影 啊 间 一 event loop 上 的 连 
接 ， 也 影 啊 同一 机 右上 的 其 他 服务 。 

该 怎么 办 呢 ? Marc Lehmann 提 到 了 几 种 做 法 : 


1. 调 高 进程 的 文件 描述 符 数 目 。 治 标 不 治本 ， 因 为 只 要 有 足够 多 
的 客户 站 ， 束 一 定 能 把 一 个 服务 进程 的 文件 描述 符 用 完 。 

2. 死 等 。 能 乌 算 法 。 

3. 退出 程序 。 人 似乎 小 题 大 做 ， 为 了 这 种 梢 时 的 锐 误 而 中 断 现 有 的 
服务 似乎 不 值得 。 

4. 天 闭 listening fd。 那 么 什么 时 候 重 新 打开 呢 ” 

5. 改 用 edgetrigger。 如 果 漏 摊 了 一 次 accept(2)， 程 序 再 也 不 会 收 到 
新 连接 。 

6. 准备 一 个 空 朵 的 文件 摘 述 符 。 遇 到 这 种 情况 ， 先 关闭 这 个 空 朵 
文件 ， 获 得 一 个 文件 描述 符 的 名 额 ; 再 accept(2) 拿 到 新 socket 连 接 的 摘 
述 伯 ;随后 江 刻 close(2) 它 ， 这 样 就 优雅 地 汤 开 了 客户 闹 连 接 ; 最 后 重 
新 打开 一 个 空闲 文件 ， 把 “ 搞 ” 占 住 ， 以 备 再 次 出 现 这 种 情况 时 使 用 。 


第 2、5 两 种 做 法 会 导致 客户 端 认 为 连接 已 建立 ， 但 无 法 获得 服务 ， 
因为 服务 闪 程 序 没 有 全 到 连接 的 文件 摘 述 符 。 

muduoH 时 Acceptor 下 是 用 第 6 种 方案 实现 的 ， 见 muduo/net/Acceptor.cc 
。 但 是 ， 这 个 做 法 在 多 线程 下 不 能 你 证 正确 ， 会 有 race condition。 〈( 忆 
务 题 : 是 什么 race condition? ) 

其 实 有 另外 一 种 比较 简单 的 办 法 : file descriptor 是 hard limit， 我 们 
可 以 自己 设 一 个 稍 低 一 点 的 soft limit， 如 果 超 过 soft limit 就 主动 关闭 新 
连接 ， 这 样 束 可 避免 触及 “file descriptor 耗 尽 ” 这 种 边界 条 件 。 比 方 说 当 
有 前 进程 的 max file descriptor 是 1024， 那 么 我 们 可 以 在 连接 数 达 到 1000 的 
时 候 进 入 “拒绝 新 连接 ?状态 ， 这 样 束 可 留 给 我 们 足够 的 腾挪 空间 。 


7.7.2 在 muduo 中 限制 并 及 连接 数 


在 muduo 中 限制 并 肥 连 接 数 的 做 法 裕 单 得 出 奇 。 以 在 86.4.2 的 
EchoServer 为 例 ， 只 珊 要 为 它 增加 一 个 int 成 员 ， 表 示 当 前 的 活动 连接 


数 。 (如 果 是 多 线程 程序 ， 应 访 用 muduo::AtomicImt32。 ) 


$ diff examples/simple/echo/echo.h examples/maxconnection/echo.h -u 


--- examples/simple/echo/echo.h 2812-03-14 21:51:13.000000000 +680808 
+++ examples/maxconnection/echo.h 2012-03-11 12:55:44.000000000 +0880 
Ge -8,9 +8, 10 66 

public: 


EchoServer (muduo: :net: :EventLoop* loop, 
const muduo: :net::lnetAddress& listenAddr, 
+ int maxCconnections): // kMaxConnections_ = maxConnections 


void start().: 


private: 
vold onConnection(const muduo: :net::TcpConnectionPtr& conn); 
Ge -21,6 +22,8 @@ 


muduo: :net: :EventLoop* loop_: 
muduo: :net: :TcpServer servyer_.; 
int numConnected_; // should be atomic_int 


+ const int kMaxConnections_.: 


天 
然后 ， 在 EchoServer::onConnection0 中 判断 当前 活动 连接 数 。 如 果 
超过 最 大 人 允许 数 ， 则 踢 挥 连接 。 


examples/maxconnection/echo.cc 
vold EchoServer::onConnection(const TcpConnectionPtr& conn) 


t 
LOG_INFO << "Echoserver - " << conn->peerAddress({).tolpPort() << " -> " 

<< conn->localAddress().toIpPort() << " is " 
<< (conn->connected() ? UP”: “DOWN ): 

十 

+ if (conn->Cconnected (yy) 

贞 法 

时 ++nmumConnmectegd _， 

+ if 《numConnected ”> kMaxConnections_) // 如 果 超 过 最 大 允许 数 ， 则 足 掉 连接 

+ { 

二 conn->shutdown(); 

+ } 

+ 才 

+ else 

+ 1{ 

+ --numConnected_; 

十 | 

+ LOG_INFO << "NnumConnected = ”<< numConnected_; 


examples/maxconnection/echo.cc 


这 种 做 法 可 以 积极 地 防止 耗 人 尽 file descriptor。 

另外， 如 果 是 有 业务 好 辑 的 服务 ， 则 可 以 在 shutdown0 之 前 发 送 一 
个 简单 的 啊 应 ， 表 明 本 服务 程序 的 负载 能 力 已 经 人 饱和， 提示 客 户 冰 竹 试 
下 一 个 可 用 的 server 〈 当 然 ， 下 一 个 可 用 的 server 地 址 不 一 定 要 在 这 个 啊 
应 里 给 出 ， 容 户 痕 可 以 自己 去 name service 查 询 ) ， 这 样 方便 客户 端 快 
速 failover。 

37.10 将 介绍 如 何 处 理 空 闪 连接 的 超时 : 如 果 一 个 连接 长 时 | 间 ( 厂 
干 秒 ”7 0 则 跑 挥 此 连接 。 办 法 有 很 多 和 种， 我 用 timing 
wheel 和 解雇 。 


7.8 和 定时 奉 
从 本 节 开始 的 三 节 内 容 都 与 非 阻塞 网 络 编程 中 的 定时 任务 有 关 。 
7.8.1 程序 中 的 时 间 


程序 中 对 时 间 的 处 理 是 个 大 问题 ， 在 这 一 市 中 我 先 人 简要 谈 谈 与 编程 
卫 接 相关 的 内 容 ， 把 更 深入 的 内 容留 给 日 后 日 期 与 时 间 专 题 文章 *， 本 
书 不 髓 细 述 。 

在 一 般 的 服务 病程 序 设 计 中 ， 与 时 间 有 关 的 第 见 任务 有: 


1. 获取 当前 时 间 ， 计 算 时 间 间 隔 。 

2. 时 区 转换 与 日 期 计算 ; 把 纽约 当地 时 间 转 换 为 上 海 当 地 时 间 ; 
2011-02-05 之 后 第 100 天 是 几 月 几 号 星期 几 ; 等 等 。 

3. 定时 操作 ， 比 如 在 预定 的 时 间 执 行 任务 ， 或 者 在 一 段 延 时 之 后 
执行 任务 。 


其 中 第 2 项 看 起 来 比较 复杂 ， 但 其 实 了 最 人 简单。 日 期 计算 用 Julian Day 
Numbera， 时 区 转换 用 tz databasea; 唯一 及 烦 一 点 的 是 夏令 时 ， 但 也 可 
以 用 tz database 解 决 。 这 些 操 作 都 是 纯 函 数 ， 很 容易 用 一 套 蛙 元 测试 来 
验证 代码 的 正确 性 。 需 要 特别 注意 的 是 ， 用 tzseUlocaltime_Tr 来 做 时 区 转 
换 在 多 线程 环境 下 可 能 会 有 问题 ， 对 此 ， 我 的 解决 办 法 是 写 一 个 
TimeZone class， 以 避免 影响 全 局 ， 日 后 在 日 期 与 时 间 专 题 文 章 中 会 讲 
到 ， 本 书 不 再 细 述 。 下 文 不 考虑 时 区 ， 均 为 UTC 时 间 。 

真正 麻烦 的 是 第 1 项 和 第 3 项 。 一 方面 ，Linux 有 一 大 把 令 人 了 眼花 综 
乱 的 与 时 间 相 关 的 函数 和 结构 体 ， 在 程序 中 访 如 何 选 用 ? 另 一 方面 ， 计 


算 机 中 的 时 钟 不 是 理想 的 计时 器 ， 它 可 能 会 漂移 或 跳 变 。 最 后 ， 民 用 的 
UTC 时 间 与 周 秒 的 关系 也 让 定时 任务 变 得 复杂 和 微妙 。 当 然 ， 与 系统 当 
前 时 间 有 关 的 操作 也 让 单元 测试 变 得 困难 。 


7.8.2 ”Linux 时 间 函 数 
Linux 的 计时 函数 ， 用 于 获得 当前 时 间 : 


time(2) /time_t( 秒 ) 

ftime(3) / struct timeb 〈 室 秒 ) 
:gettimeofday(2) / struct timeval (做 秒 ) 
Clock_gettime(2) / struct timespec〈《 纳 秒 ) 


还 有 gmtime / localtime / timegm / mktime / strftime / struct tm 等 与 当 
前 时 间 无 天 的 时 间 格 式 转 换 苑 数 。 
定时 函数 ， 用 于 让 程序 等 每 一 段 时 间或 安排 计划 任务 : 


‘sleep(3) 

“alarm(2) 

“usSleep(3) 

‘nanosleep(2) 

Clock_nanosleep(2) 

‘getitimer(2) / setitimer(2) 

‘timer_create(2) / timer_settime(2) / timer_gettime(2) / timer_delete(2) 
“timerfd_create(2)/ timerfd_gettime(2) / timerfd_settime(2) 


我 的 取舍 如 下 : 


“(计时 〉 只 使 用 gettimeofday(2) 来 获取 当前 时 间 。 
“(定时 ) 只 使 用 timerfd_* 系 列 浮 数 来 处 理 定时 任务 。 


gettimeofday(2) 入 选 原 因 (这 也 是 muduo::Timestamp class 的 主要 议 
计 考 不 ): 


1. time(2) 的 精度 太 低 ，ftime(3) 已 被 废弃 ; clock_gettime(2) 精 上 度 最 
融 ， 但 是 其 系统 调用 的 开销 比 gettimeofday(2) 大 。 
2. 在 x86-64 平 台 上 ，gettimeofday(2) 不 是 系统 调用 ， 而 是 在 用 户 态 


实现 的 ， 没 有 上 下 文 切换 和 陷入 内 核 的 开销 :。 

3. gettimeofday(2) 的 分 辨 挛 〈resolution ) 是 1 微 秒 ， 现 在 的 实现 确 
实 能 达到 这 个 计时 精度 ， 足 以 满足 日 单 计 时 的 需要 。muduo::Timestamp 
用 一 个 int64 t 来 表示 从 Unix Epoch 到 现在 的 微 秒 数 ， 其 范围 可 达 上 下 30 
万 年 。timerfd_* 入 选 的 原因 : 


1. sleep(3) / alarm(2) /usleep(3) 在 实现 时 有 可 能 用 了 SIGALRM 信 
号， 在 多 线程 程序 中 人 处理 信号 是 个 相当 麻烦 的 事情 ， 应 当 尺 量 避 多， 见 
a 表 训 ， 如 来 主 程序 和 程序 库 部 使 用 SIGALRM， 束 糟 迷 了。 为 

A 

2. nanosleep(2) 和 clock_nanosleep(2) 是 线程 安全 的 ， 但 是 在 非 阻 塞 
网 络 编程 中 ， 绝 对 不 能 用 让 线程 挂 起 的 方式 来 等 竺 一 段 时 间 ， 这 样 一 来 
程序 会 失去 啊 应 。 正 确 的 做 法 是 注册 一 个 时 间 回 调 函 数 。 

3. getitimer(2) 和 timer_create(2) 也 是 用 信号 来 deliver 超 时 ， 在 多 线 
程 程序 中 也 会 有 麻烦 。timer_create(2) 可 以 指定 信号 的 接收 方 是 进程 还 是 
线程 ， 算 是 一 个 进步 ， 不 过 信号 处 理 图 数 (signal handler) 能 做 的 事情 
实在 很 受 限 。 

4. timerfd_create(2) 把 时 间 变 成 了 一 个 文件 描述 待 ， 该 “文件 ?在 定 
时 禹 超时 的 那 一 刻 变 得 可 读 ， 这 样 束 能 很 方便 地 融入 select(2)/poll(2) 框 
架 中 ， 用 统一 的 方式 来 处 理 IO 事 件 和 超时 事件 ， 这 也 正 是 Reactor 模 式 的 
长 处 。 我 在 以 前 发 表 的 《Linux 狐 增 系 统 调 用 的 局 示 》¥ 中 也 谈 到 了 这 个 
想法 ， 现 在 我 把 这 个 想法 在 muduo 网 络 库 中 实现 了 。 

5. 传统 的 Reactor 利 用 select(2)/poll(2)/epoll(4) 的 timeout 来 实现 定时 
功能 ， 但 poll(2) 和 epoll_wait(2) 的 定时 精度 只 有 毫秒 ， 远 低 于 timerfd_ 
settime(2) 的 定时 精度 。 


必须 要 说 明 ， 在 Linux 这 种 非 实 时 多 任务 操作 系统 中 ， 在 用 户 态 实 
现 完 全 精确 可 控 的 计时 和 定时 是 做 不 到 的 ， 因 为 当前 任务 可 能 会 被 随时 
切换 出 去 ， 这 在 CPU 负载 大 的 时 候 尤 为 明显 。 但 是 ， 我 们 的 程序 可 以 尽 
量 提高 时 间 精 度 ， 必 要 的 时 候 通 过 控制 CPU 负载 来 提高 时 间 操 作 的 可 靠 
性 ， 让 程序 在 99.99% 的 时 候 都 是 投了 预期 执行 的 。 这 或 许 比 换 用 实时 操 
作 系 统 并 重新 编写 及 测试 代码 要 经 济 一 些 。 

关于 时 间 的 精度 〈accuracy) 问题 我 留 到 日 期 与 时 间 专 题 文章 中 讨 
论 ， 本 书 不 再 细 述 ， 它 与 分 辩 率 (resolution) 不 完全 是 一 回 事 儿 。 时 间 
跳 变 和 国 秘 的 影 啊 与 应 对 也 不 在 此 处 展开 讨论 了 。 


7.8.3 muduo 的 定时 器 接口 


muduo EventLoop 有 三 个 定时 霹 函 数 : 


muduo/net/EventLoop.h 
typedef boost::function<void(})> TimerCcallback: 


class EventLoop : boost::noncopyable 


\ 
public: 
ws 


i:: timers 


/i/ Runs callback at ‘time'. 
TimerId runAt(const TImestamp& time, const TimerCallback& cb): 


/i/ Runs callback after @c delay seconds. 
Timerld runAfter(double delay, const TimerCallbacké& cb): 


A:// Runs callback every @c interval seconds. 
TimerId runEvery(double interval, const TimerCallback& cb): 


:i/ Cancels the timer. 
void cancelLftTimerId timerIdy) ; 


人 
}; 
muduo/net/EventLoop.h 


函数 名 称 很 好 地 反映 了 其 用 途 : 


:runAt 在 指定 的 时 间 调 用 TimerCallback:; 
ruUnAfter 等 一 段 时 间 调 用 TimerCallback; 
:runEvery 以 国定 的 间隔 反复 调用 TimerCallback: 
cancel 取 消 timer。 


回调 函数 在 EventLoop 对 象 所 属 的 线程 及 生 ， 与 onMessage()、 
onConnection0 等 网 络 事件 函数 在 同一 个 线程 。muduo 的 TimerQueue 采 用 
了 平衡 二 叉 树 来 管理 未 到 期 的 timers， 因 此 这 些 操 作 的 事件 复杂 上 度 是 
O(ogN )。 


7.8.4 ”Boost.Asio Timer 示 例 
Boost.Asio 教 程 s 里 以 Timer 和 Daytime 为 例 介 绍 Asio 的 基本 使 用 ， 


daytime 已 经 在 87.1 中 介绍 过 ， 这 里 独 重 谈 谈 Timer。Asio 有 5 个 Timer 示 
例 ，muduo 把 其 中 四 个 重新 实现 了 一 过 ， 并 扩充 了 第 5 个 示例 。 


. 阻 堵 式 的 定时 ，muduo 不 支持 这 种 用 法 ， 无 代码 。 
. 非 阻 塞 定时 ， 见 examples/asio/tutorial/timer2 。 
在 TimerCallback 里 传递 参数 ， 见 examples/asio/tutorial/timer3 。 
以 成 员 冰 数 为 TimerCallback， A examples/asio/tutonialiimen 
5. 在 多 线程 中 回调 ， 用 mutex 保 护 共 至 变量 ， 见 
examples/asio/tutorial/timer> 。 
6. 在 多 线程 中 回调 ， 缩 小 临界 区 ， 把 不 需要 互 斥 执行 的 代码 移出 


来 ， 见 examples/asio/tutorial/timer6 。 


信 CD 放 请 


为 节省 篇 幅 ， 这 里 只 列 出 tmer4。 这 个 程序 的 功能 是 以 1 秒 为 间 隅 打 
印 5 个 整数 ， 乍 看 起 来 代码 有 氮 小 题 大 做 ， 但 是 值得 注意 的 是 定时 毅 事 
2 IO 事件 站 在 同一 线程 及 生 的 ， 程 序 现 像 处 理 IO 事件 一 样 处 理 超时 事 


examples/asio/tutorial/timerd/timer.cc 
7 class Printer : boost::noncopyable 


8 攻 

9 public: 

10 Printer(muduo: :net::EventLoop* loop) 
i1 : loop_(loop), 

12 count_(0) 

13 { 

14 loop_->runAfter(1, boost::bind{&Printer: :print, this)): 
15 } 

16 

17 ~Printer() 

18 { 

19 std::cout << "Final count is ”<< count_ << "\n"; 
20 } 

21 

22 vold printc) 

23 

24 if (count_ < 5) 

25 { 

26 std::cout << count_ << "\n": 

27 ++coOUNt_; 

28 

29 loop_->runAftert1, boost: :bind&Printer: :print, this)): 
30 } 

31 else 

32 { 

33 loop_->quit(Yy: 

34 

35 } 

36 

37 private: 

38 muduo: :net: :EventLoop* loop_:; 

39 int count_: 

40 }; 


42 int main() 
43 圭 
44 muduo: :net: :EventLoop 1oop; 
45 Printer printer(&loop): 
46 1oop.1oopfy ; 
} 


examples/asio/tutorial/timerd/timer.cc 


了 好 后 我 再 强调 一 裔 ， 在 非 阻塞 服务 闹 编 程 中 ， 绝 对 不 能 用 sleepO 〇 或 
类 似 的 办 法 来 让 程序 原 地 保留 等 每 ， 这 会 让 程序 失去 啊 应 ， 因 为 主事 件 
循环 被 挂 起 了 ， 无 法 处 理 IO 事 件 。 这 束 像 在 Windows 编 程 中 绝对 不 能 在 
消 恩 循环 里 执行 耗 时 的 代码 是 一 个 道理 ， 这 会 让 程序 界面 失 去 啊 应 。 
Reactor 模 式 的 网 络 编程 确实 有 些 类 似 传 统 的 消 恩 驱动 的 Windows 编 程 。 
对 于 “定时 ”任务 ， 把 它 变 成 一 个 特定 的 消 晨 ， 到 时 候 触 发 相应 的 消 居 处 


理 冰 数 束 行 了 了 。 
Boost.Asio 的 timer 示 例 只 用 到 了 EventLoop::runAfter， 我 再 举 一 个 
EventLoop::runEvery 的 例子 。 


7.8.5 ”Java Netty 示 例 


Netty 古 一 个 非常 好 的 Java NIO 网 络 库 ， 它 附 市 的 示例 程序 有 echo 和 
discard 两 个 简单 网 络 协 议 。 与 87.1 不 同 ，Netty 版 的 echo 和 discard 服 务 病 
有 沉 量 统计 功能 ， 这 般 要 用 到 回 定 则 隅 的 定时 幽 

(EventLoop::runEvery) 。 

其 client 的 代码 类 似 前 文 的 chargen， 为 节省 篇 幅 ， 请 阅读 源码 
examples/netty/discard/client.cc 。 

这 里 列 出 discard server 的 完整 代码 。 代 码 整 体 结构 上 与 86.4.2 的 
EchoServer 雪 别人 不 大 ， 这 算 古 简 蛙 网 络 服务 右 的 典型 模式 了 了。 

DiscardServer 可 以 配置 成 多 线程 服务 器 ，muduo TcpServer 有 一 个 内 
置 的 one loop per thread 多 线程 IO 模 型， 可 以 通过 setThreadNum() 来 开 

Do 


muduo/examples/netty/discard/server.cc 
19 Int numThreads = 60; 


21 class DiscardServer 

22 十 

23 public: 

24 DiscardServer(EventLoop* loop, const InetAddress& listenAddr) 
: loop_(l1o0p), 


26 server_(loop, listenAddr, "DiscardServer"), 

27 oldCcounter_(8), 

28 startTime_(Timestamp: :now()) 

29 { 

30 server_.setCconnectionCallbackt 

31 boost: :bind(&DiscardSsServer: :onConnection, this, _1)): 

32 server_.setMessageCallbackt( 

33 boost::bind(&DiscardServer: :onMessage, this, _1, _2, _3)): 
34 server_.setihreadNum(numihreads): 

35 loop->runEvery(3.8, boost::bind(&DiscardServer: :printThroughput, this)): 
36 } 


构造 函数 注册 了 一 个 同 隅 为 3 秒 的 定时 右 ， 调 用 
DiscardServer::printThroughputO 打 印 出 吞吐 量 。 
消息 回调 只 比 此 处 的 代码 多 两 行 ， 用 于 统计 收 到 的 数据 长 上 度 和 消 


恩 次 数 。 


void onMessage(const TcpConnectionPtr& conn, Bufferx buf, Timestamp) 

{ 
silze_t len = buf->readableBytes(); 
transferred_.add(len): 
recelvedMessages_.incrementAndGet(); 
buf->retrieveAll(): 

+ 

在 每 一 个 统计 周期 ， 打 印 数据 否 吐 量 。 


vold printThroughpute) 
t 
Timestamp endTime = Timestamp: :Now(): 
iNnt64_t newCounter = transferred_.get(): 
nt64_t bytes = newCounter - oldCounter_.; 
int64_t msgs = receivedMessapges_.getAndSet (8):; 
double time = timeDifference(endTime, startTime_}):; 
printf( %%4.3f MiB/s %4.3f Ki Msgs/s %6.2f bytes Per msgsn ， 
static_cast<double>(bytes)}/time/1024/1024, 
static_cast<double>(msgs)/time/1824, 
static_cast<double>(bytes)/static_cast<double>(msgs)): 


oldCounter_ = newCounter ; 
startTime_ = endTime; 


} 
以 下 十 数据 成 员 ， 注 意 用 了 整数 的 原子 操作 AtomicInt64 来 记录 收 到 


的 凶 市 数 和 消 居 数 ， 这 是 为 了 多 线程 安全 性 。 


16 
ni 
18 
了 
80 
81 
82 
3 


EventLoop* loop._; 
Tcpserver server_; 


AtomicInt64 transferred_: 
AtomicInt64 recelvedMessages_; 
int64 +t oldCounter_: 

Timestamp startTime_; 


4 
main() 疯 数 ， 有 一 个 可 选 的 命令 行 参数 ， 用 于 指定 线程 数目 。 


S 


85 int main(int argc, char* argvL[L]) 

86 { 

87 LOe_INFO << "pid = ”<< getpid() << ", tid = ”<< CurrentThread: :tidO): 
88 if (argc > 1) 


89 
90 numThreads = atoi(argv[1]); 
91 } 


92 EventLoop loop: 
93 InetAddress listenAddr(28009): 
94 DiscardServer server(&loop, listenAddr): 


96 server.start(): 
98 loop.loop(): 


muduo/examples/netty/discard/server.cc 
运行 方法 ， 在 同一 台 机 器 的 两 个 命令 行 窗口 分 别 运行 : 


# 短 口 1 
$ bin/netty_discard_server 


# 窗口 2 
$ bin/netty_discard_client 127.0.0.1 256 
第 一 个 窗口 显示 硅 吐 量 : 
41.001 MiB/s 73.387 Ki Msgs/s 572.10 bytes per mseg 


72.441 MiB/s 129.593 Ki Msgs/s 572.40 bytes Per msg 
77.724 MiB/s 137.251 Ki Msgs/s 579.88 bytes Per msg 


改变 第 二 个 命令 的 最 后 一 个 参数 (上面 的 256) ， 可 以 观察 不 同 的 
消息 大 小 对 硬 旺 量 的 影 啊 。 
本 练习 1: 把 二 痢 的 关系 绘制 成 函数 曲线 ， 看 看 有 什么 规律 ， 想 想 六 
人 。 
练习 2: 在 局 域 网 的 两 侣 机 需 上 运行 客户 端 和 服务 端 ， 找 出 证 硬 吐 
量 达 到 最 大 的 衣 恩 长度 。 这 个 数字 与 练习 1 中 的 相 比 是 大 还 是 小 ?为 什 
? 


2 

有 兴趣 的 读者 可 以 对 比 一 下 Netty 的 否 吐 量 ，muduo 应 该 能 轻松 取 
胜 。 

discard client/server 测 试 的 是 单 问 否 吐 量 ，echo client/server 测 试 的 是 
双 辐 行 叶 量 。 这 两 个 服务 病 部 文 持 多 个 并 友 连 接 ， 两 个 客户 闪 都 是 单 连 
接 的 。 前 文 86.5 实 现 了 一 个 pingpong 协 议 ， 客 户 端 和 服务 端 都 是 多 连 
接 ， 用 来 测试 muduo 在 多 线程 大 量 连接 情况 下 的 性 能 表现 。 


7.9 测量 两 合 机 弗 的 网 络 延迟 和 时 间 寺 


本 方 介绍 简 蛙 的 网 络 程 序 roundtrip， 用 于 测量 两 台 机 妖 之 间 的 
网 络 延 人 壕 ， WA (round trip time，RTT) ”。 其 主要 考 罕 定 长 
TCP 消 息 的 分 包 与 TCP_NODELAY 的 作用 。 本 节 的 代码 见 
examples/roundtrip/roundtrip.cc 。 

测量 round trip time 的 办 法 很 简单 : 


host A 必 一 条 消息 给 hostB， 其 中 包含 host A 发 送 消 恩 的 本 地 时 间 。 
:host B 收 到 之 后 立刻 把 消息 echo 回 host A。 
host A 收 到 消息 之 后 ， 用 当前 时 间 减 去 消息 中 的 时 间 束 得 到 了 


round trip time。 


NTP 协 议 的 工作 原理 与 之 类 似 s， 不 过 ， 际 了 测量 round trip time， 
NTP 还 需要 知道 两 台 机 需 之 间 的 时 间 兰 〈clock offset) ， 这 样 才能 校准 
时 间 。 

图 7-38 是 NTP 协 议 收 发 消息 的 协议 ，round trip time 二 (Ts 一 Tj ) 一 (Ts 


一 T, )，clock et 。NTP 的 要 求 是 往返 路 径 


上 的 单程 延迟 要 尽量 相等 ， 这 样 才 有 减少 系统 误差 。 偶 然 误 差 由 单程 延 
壕 的 不 人 硼 定 性 决定 。 


client SEIVEr 


ni 


Ty 本 


图 7-38 


在 我 设计 的 roundtrip 示 例 程序 中 ， 协 议 有 所 人 和 窗 化 ， 如 图 7-39 所 示 。 


client SeTVeT 


ee 


Te 





图 7-39 
计算 公式 如 下 。 
round trip time = 73 —T 
了 二 
clock offset = 了 2 — 一 二 


徐 化 之 后 的 协议 少 取 一 次 时 间 ， 因 为 server 收 到 消息 之 后 立刻 发 送 
回 client， 耗 时 很 少 “〈 和 在 干 做 秒 ) ， 基本 个 影 呈 最 终结 采 。 
我 设计 的 消息 格式 是 16 字 节 定 长 消息 ， 如 图 7-40 所 示 。 


= 64-bit timestamp 一 一 
16 bytes | 


Ty 


图 7-40 
T1 和 T, 者 是 muduo::Timestamp， 成 员 是 一 个 int64 {t， 表 示 从 Unix 
Epoch 到 现在 的 微 秒 数 。 为 了 让 消息 的 单程 往返 时 间接 近 ，server 和 
client 用 送 的 消息 都 是 16 bytes， 这 样 做 到 对 称 。 由 于 是 定 长 消 轧 ， 可 以 
不 必 使 用 codec， 在 message callback 中 直接 用 


while (buffer->readableBytes() >= frameLen) 1{ 
RR 
1 
承 能 decode。 请 谈 者 思考 : 如 朱 把 while 换 成 让 会 有 什么 后 果 ? 
client 程 序 以 200ms 为 间隔 发 送 消息 ， 在 收 到 消息 之 后 打印 round trip 
time 和 clock offset。 一 次 运作 实例 如 图 7-41 所 示 。 


client server 


T=1.234000— (1.234 


A 0 
i 了 3 四 3415f De 二 | 3 
2 4150 TN a 1» = | es IUUU 
0 23 


Ty = 1.234300a— 323 


round trip time = 13 — 41 = 300ps 
了 十 了 3 


clock offset = 了 2 一 了 
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图 7-41 


在 这 个 例子 中 ，dlient 和 server 各 目的 本 地 时 钟 不 是 完全 对 准 的 ， 
server 的 时 间 快 了 850hs， 用 roundtrip 程 序 能 测量 出 这 个 时 间 差 。 有 了 这 
个 时 间 竺 ， 驳 能 校正 分 布 式 系统 中 测量 得 到 的 消息 延迟 。 

比方 说 以 图 7-41 为 例 ，server 在 它 本 地 1.235000s 时 刻 发 送 了 一 条 消 

恩 ，dlient 在 它 本 地 1.234300s 收 到 这 条 消 晨 ， 厂 直接 计算 的 话 延 迟 
是 -700ks。 这 个 结果 肯定 是 错 的 ， 因 为 server 和 client 不 在 一 个 时 钟 域 
(clock domain， 这 是 数字 电路 中 的 概念 ) ， 它 们 的 时 间 直 接 相 减 无 意 
义 。 如 果 我 们 已 经 测量 得 到 server 比 client 快 850hs， 那 么 用 这 个 数据 做 一 
次 校正 : -700 十 850 王 150hs， 这 个 结果 就 比较 符合 实际 了 。 当 然 ， 在 实 
i clock offset 要 经 过 一 个 低 通 小 波 才 能 使 用 ， 不 然 个 然 性 大 

请 读者 思考 : 为 什么 不 能 直接 以 RTT/2 作 为 两 台 机 器 之 间 收 发 消息 
的 单程 延 退 ? 这 个 数字 是 俩 大 还 是 偏 小 ? 

这 个 程序 在 局 域 网 中 使 用 没有 问题 ， 如果 在 广域网 上 使 用 ， 而 且 
RTT 大 于 200ms， 那 么 党 Nagle 算 法 影响 ， 测 量 结果 是 错误 的 。 因 为 应 用 
程序 记录 的 发 包 时 间 与 操作 系统 真正 发 出 数据 包 的 时 间 之 到 不 再 是 一 个 
可 以 忽略 的 小 间隔 。 县 体 分 析 留 作 练 习 ， 这 能 测试 谈 者 对 Nagle 的 理 
解 。 A 让 程序 在 广域网 上 也 能 
正常 工作 。 


7.10 ”用 timing wheel 哆 挥 空 几 连接 


本 节 介 绍 如 何 使 用 timing wheel 来 足 挥 空 亲 的 连接 。 一 个 连接 如 采 
右 干 秒 没有 收 到 数据 ， 束 被 认为 是 空闲 连接。 本 文 的 代码 见 
examples/ldleconnectlon 。 

在 严肃 的 网 络 程序 中 ， 应 用 层 的 心跳 协议 是 必 不 可 少 的 。 应 该 用 心 
跳 消 恩 来 判断 对 方 进 程 是 否 能 正常 工作 ,“ 哆 挤 空 闲 连接 ”只 是 一 时 的 权 
家 之 计 。 我 这 里 想 顺 便 讲 讲 shared_ptr 和 weak_ptr 的 用 法 。 

如 果 一 个 连接 连续 几 秒 ( 后 文 以 8s 为 例 ) 内 没有 收 到 数据 ， 就 把 它 
骨 开 ， 为 此 有 两 种 和 镜 持 、 粗 暴 的 做 法 : 


每 个 连接 保存 “最 后 收 到 数据 的 时 间 lastReceiveTime”， 然 后 用 一 个 
定时 如 ， 每 秒 届 历 一 过 所 有 连接 ， 上 断 开 那些 now - 
connection.lastReceiveTime) 之 8s 的 connection。 这 种 做 法 全 局 只 有 一 个 
repeated timer， 不 过 每 次 timeout 都 要 检查 全 部 连接 ， 如 果 连 接 数 目 比 较 
大 ( 几 和 干 上 万 )， 这 一 步 可 能 会 比较 费时 。 

每 个 连接 设置 一 个 one-shot timer， 超 时 定 为 88， 在 超时 的 时 候 就 断 
开本 连接 。 当 然 ， 每 次 收 到 数据 要 去 更 新 timer。 这 种 做 法 需要 很 多 个 
one-shot timer， 会 频 莹 地 更 新 timers。 如 来 连接 数 日 比较 大 ， 可 能 对 
EventLoop 的 TimerQueue 造 成 压力 。 


使 用 timing wheel 能 避免 上 述 两 种 做 法 的 缺点 。timing wheel 可 以 翻 
详 为 "时间 轮 盘 ?或 “刻度 盘 ?， 本 文保 留 英 文 。 

连接 超时 不 需要 精确 定时 ， 只 要 大 致 8 秒 超 时 断 开 了 驶 行 ， 多 一 秒 、 
少 一 秒 关 系 不 大 。 处 理 连 接 超时 可 用 一 个 简单 的 数据 结构 : 8 个 桶 组 成 
的 循环 队列 。 第 1 个 桶 放 1 秒 之 后 将 要 超时 的 连接 ， 第 2 个 桶 放 2 秒 之 后 将 
要 超时 的 连接 。 每 个 连接 一 收 到 数据 束 把 自己 放 到 第 8 个 桶 ， 然 后 在 每 
秒 的 timer 里 把 第 一 个 桶 里 的 连接 断 开 ， 把 这 个 空 桶 挪 到 队 尾 。 这 样 大 至 
可 以 做 到 8 秒 没有 数据 就 超时 断 开 连接 。 更 重要 的 是 ， 每 次 不 用 检查 全 
部 的 连接 ， 只 要 检查 第 一 个 桶 里 的 连接 ， 相 当 于 把 任务 分 散 了 。 


7.10.1 timing wheel 原 理 


《Hashed and hierarchical timing wheels: efficient data structures for 
implementing a timer facility》¥ 这 篇 论 文 评 细 比较 了 实现 定时 器 的 各 种 
数据 结构 ， 并 提出 了 层次 化 的 timing wheel 与 hash timing wheel 等 新 结 
构 。 针 对 本 而 要 解决 的 问题 的 特点 ， 我 们 不 需要 实现 一 个 通用 的 定时 
研 ， 只 用 实现 Simple timing wheel 即 可 。 

simple timing wheel 的 基本 结构 是 一 个 循环 队列 ， 还 有 一 个 指 问 队 尾 


的 指针 《tail) ， 这 个 指针 每 秒 移动 一 格 ， 驳 像 钟 表 上 的 时 针 ，timing 
wheel 由 此 得 名 。 

以 下 是 菏 一 时 刻 timing wheel 的 状态 〈( 见 图 7-42 的 左 图 ) ， 格 子 里 的 
数字 是 倒计时 “与 通常 的 timing wheel 相 反 ) ， 表 示 这 个 格子 ( 桶 子 ) 
中 连接 的 剩余 天命 


1 秒 以 后 〈 见 图 7-42 的 右 图 ) ，tail 指 针 移 动 一 格 ， 原 来 四 点 钟 方 回 的 格 
子 锯 消 空 ， 其 中 的 连接 已 被 断 开 。 


连接 超时 被 跑 掉 的 过 程 


假设 在 某 个 时 刻 ，conn 1 到 达 ， 把 它 放 到 当前 格子 中 ， 它 的 剩余 寿 
命 是 7 秒 ( 见 图 7-43 的 左 图 ) 。 此 后 conn 1 上 没有 收 到 数据 。1 秒 之 后 
( 见 图 7-43 的 右 图 ) ， tail 指 向 下 一 个 格子 ， conn Ti 
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图 7-43 
义 过 了 几 秒 ， ee 1 之 前 的 那个 格子 ，conn 1 即将 被 断 开 
( 见 图 7-44 的 左 图 ) 。 下 一 秒 〈 见 图 7-44 的 右 图 ) ，tail 重 新 指 问 conn 1 


原来 所 在 的 格子 ， 清空 其 中 的 数据 ， 汤 开 conn 1 连接 。 


Conn 1 
= 


disconnected 





图 7-44 


连接 刷新 

如 果 在 断 开 conn 1 之 前 收 到 数据 ， 就 把 它 移 到 当前 的 格子 里 。conn 
1 的 剩余 寿命 是 3 秒 〈 见 图 7-45 的 左 网 ) ， 此 时 conn 1 收 到 数据 ， 它 的 寿 
命 恢复 为 7 秒 〈 见 图 7-45 的 右 图 ) 。 
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图 7-45 
时 则 继续 前 进 ，conn 1 寿命 递减 ， 不 过 它 已 经 比 第 一 种 情况 长 和 兰 了 
( 见 图 7-46) 。 
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conn ] | 


多 个 连接 


timing wheel 中 的 每 个 格子 是 个 hash set， 可 以 容纳 不 止 一 个 连接 。 

比如 一 开始 ，conn 1 到 达 。 随 后 ，conn 2 到 达 《〈 见 图 7-47) ， 这 时 
候 tail 还 没有 移动 ， 两 个 连接 位 于 同一 个 格子 中 ， 有 共有 相同 的 剩余 寿 
命 。( 在 图 7-47 中 国 成 链表 ， 代 人 码 中 是 哈 锅 表 。) 





图 7-47 


几 秒 之 后 ，conn 1 收 到 数据 ， 而 conn 2 一 直 没 有 收 到 数据 ， 那 么 
conn 1 被 移 到 当前 的 格子 中 。 这 时 conn 1 的 预期 寿命 比 conn 2 长 〈 见 图 7- 
48) 。 
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7.10.2 ”代码 实现 与 改进 


我 们 用 以 前 多 次 出 现 的 EchoServer 来 说 明 具 体 如 何 实现 timing 


wheel。 代 码 见 examples/idleconnection 。 


在 基体 实现 中 ， 格 子 里 放 的 不 是 连接 ， 而 是 一 个 特制 的 Entry 


struct， 每 个 Entry 包 人 台 TcpConnection 的 weak_ptr。Entry 的 析 构 函数 会 判 
断 连 接 是 否 还 存在 (用 weak_ptr) ， 如 果 还 存在 则 断 开 连接 。 


数据 结构 : (本 市 的 代码 压 绚 了 单行 绚 进 ) 


examples/idleconnection/echo.h 
struct Entry : public muduo::copyable // 这 是 一 个 type tag 
{ 
explicit Entry(const WeakTCPConnectionPtr& weakConn) 
: weakConn_(weakConn) 


tC 


~Entry() 
{ 
muduo: :net: :TcpeonnectionPtr conn = weakConn_.lockt(): 
if (conn) 
conn->shutdown (CY: 


} 


WeakTcpConnectionPtr weakConn_; 


中 


typedef boost::shared_ptr<Entry> EntryPtr: 

typedef boost::weak_ptr<Entry> WeakEntryPtr: 

typedef boost::unordered_set<EntryPtr> Bucket.: 

typedef boost::circular_buffer<Bucket> WeakConnectionList; 
examples/idleconnection/echo.h 


在 实现 中 ， 为 了 简单 起 抑 ， 我 们 不 会 真 的 把 一 个 连接 从 一 个 格子 移 


到 为 一 个 格子 ， 而 是 采用 引用 计数 的 办 法 ， 用 shared_ptr 来 礼 理 Entry。 
如 果 从 连接 收 到 数据 ， 就 把 对 应 的 EntryPtr 放 到 这 个 格子 里 ， 这 样 它 的 
引用 计数 融 递 增 了 。 当 Entry 的 引用 计数 递减 到 零 时 ， 说 明 它 没有 在 任 
何 一 个 格子 里 出 现 ， 那 么 连接 超时 ，Entry 的 析 构 函数 会 断 开 连接 。 

注意 在 头 文 件 中 我 们 目 己 定义 了 shared_ptr<T> 的 hash 函 数 ， 原 因 是 
下 到 Boost 1.47.0 之 前 ，unordered_set<shared_ptr<T> > 虽然 可 以 编译 退 
过 ， 但 是 其 hash_value 古 shared_ptr 史 式 转换 为 bool 的 结果 。 也 就 是 说 ， 
如 果 不 自 定 义 hash 函 数 ， 那 么 unordered_{set/map} 会 退化 为 链表 。 

timing wheel 用 boost::circular_buffer 实 现 ， 其 中 每 个 Bucket 元 素 是 个 
hash set of EntryPtr。 

在 构造 函数 中 ， 注 册 每 秒 的 回调 (EventLoop::runEvery0 注 册 
EchoServer:: onTimer()) ， 然 后 把 timing wheel 设 为 适当 的 六 小 。 


examples/idleconnection/echo.cc 
15 EchoServer::EchoServer{EventLoop* loop, 


16 const InetAddress& listenAddr, 

17 int idleSeconds) 

18 : loop_(lo0p), 

19 server_(loop, listenAddr, "EchoServer"), 

20 connectionBuckets_(idleSseconds) 

21 1{ 

22 server_.setConnectionCcallback( 

23 boost: :bind(&EchoServer: :onConnection, this, _1)): 

24 server_.setMessageCallback( 

25 boost: :bind(&EchoServer: :onMessage, this, _1, _2, _3)): 
26 loop->runEvery(1.6, boost: :bind(&EchoServer: :onTimer, this)):; 
27 connectionBuckets_.resize(idleSeconds): 

28 } 


examples/idleconnection/echo.cc 


其 中 ，EchoServer::onTimer() 的 实现 只 有 一 行 : 往 队 尾 添 加 一 个 衬 
的 Bucket， 这 样 circular_ buffer 会 自动 弹出 队 首 的 Bucket， 并 析 构 之 。 在 
析 构 Bucket 的 时 候 ， 会 依次 析 构 其 中 的 EntryPtr 对 象 ， 这 样 Entry 的 引用 
计数 束 不 用 我 们 去 操心 ，C++ 的 值 语意 会 帮 我 们 搞定 一 切 。 
vold Echoserver: :onTimert) 


{ 


connectionBuckets_.push_back(Bucket()):; 
} 
在 连接 建立 时 ， 创 建 一 个 Entry 对 象 ， 把 它 放 到 timing wheel 的 队 
尾 。 另 外 ， 我 们 还 需要 把 Entry 的 弱 引 用 体 存 到 TcpConnection 的 Context 
里 ， 因 为 在 收 到 数据 的 时 候 还 要 用 到 Entry。 〈 思 考题 : 如 果 
TcpConnection::setContext 保 存 的 是 强 引 用 EntryPtr， 会 出 现 什么 情 


况 ? ) 


examples/idleconnection/echo.cc 


void EchoServer::onConnection(const TcpConnectionPtr& conn) 


LOG_INFO << “EchosServer -~ ”<< conn->peerAddress().toIpPort() << -> 
<< connNn->localAddress(),tolpPort() << " is 
<< (conn->connected() ? "UP”: "DOWN"):; 


if (conn->connected()) 
{ 
EntryPtr entry(new Entrytconny ) ; 
connectionBuckets_.back() .insert(entry): 
WeakEntryPtr weakEntryCentry): 
conn->setContext (weakEntry): 
J 
el se 
{ 
assert(lconn->getContext() .emptyO) ); 
WeakEntryPtr weakEntry(boost::any_cast<WeakEntryPtr>(conn->getContext())):; 
LOG_DEBUG << “Entry use_count = ”<< weakEntry.use_count():; 


} 


examples/idleconnection/echo.cc 


在 收 到 消息 时 ， 从 TcpConnection 的 context 中 取出 Entry 的 弱 引 用 ， 


把 它 提 升 为 强 引 用 EntryPttr， 然 后 放 到 当前 的 timing wheel 队 尾 。 (思考 
题 ， 为 什么 要 把 Entry 作 为 TcpConnection 的 context 保 存 ， 如 果 这 里 再 创 


建 一 个 新 的 Entry 会 有 什么 后 果 ? ) 
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- examples/idleconnection/echo.cc 


void Echoserver: :onMessage(const TcpConnectionPtr& conn, 


Buffer* buf ， 
Timestamp time) 


/ string msg(tbuf->retrieveAsString()); 


LOG_INFO << conn->name() << " echo " << msg.size() 
<< ”bytes at ”<< time.tosString():; 
conn->send(mseg); 


assert(lconn->getContext() .empty() 7) ; 
WeakEntryPtr weakEntry(boost: :any_cast<WeakEntryPtr>(conn->getContext())): 
EntryPtr entry(weakEntry. lockt)): 
if Centry) 
connectionBuckets_.back().inserttentry); 


examples/idleconnection/echo.cc 


然后 呢 ?” 没 有 然后 了 ， 程 序 已 经 完成 了 我 们 想 要 的 功能 。 完 整 的 


代码 会 调用 dumpConnectionBuckets0 来 打印 circular_buffer 变 化 的 情况 ， 
运行 一 下 即 可 理解 。) 


希望 本 节 内 容 有 助 于 你 理解 shared_ptr 和 weak_ptr 的 引用 计数 。 
改进 


在 现在 的 实现 中 ， 每 次 收 到 消 奶 都 会 往 队 尾 添加 EntryPtr (当然 ， 
hash set 会 帮 我 们 去 重 〈deduplication ) ) 。 一 个 简单 的 改进 措施 是 ， 在 
TcpConnection 里 保存 “最 后 一 次 往 队 尾 添加 引用 时 的 tail 位 置 ?， 收 到 背 
恩 时 先 检查 tail 是 佣 变化 ， 大 无 变化 则 不 重复 添加 EntryPtr， 和 契 有 变化 则 
把 EntryPtr 从 旧 的 Bucket 移 到 当前 队 尾 Bucket。 这 样 或 许 能 提高 空间 和 时 
则 效率 。 以 上 改进 留 作 练习 。 

男 外 一 个 思路 是 “选择 排序 ”使 用 链表 将 TcpConnection 串 起 来 ， 
TcpConnection 每 次 收 到 消 恩 束 把 目 己 移 到 链表 末尾 ， 这 样 链表 是 按 接 收 
时 间 先 后 排序 的 。 再 用 一 个 定时 需 定 期 从 链表 前 奖 租 找 并 跤 挥 超时 的 连 
接 。 代 人 码 示例 位 于 同一 目录 。 


7.11 简单 的 消 且 广播 服务 


本 市 介绍 用 muduo 实 现 一 个 简单 的 topic-based 消 居 厂 播 服 务 ， 这 其 
实 是 “聊天 室 ” 的 一 个 简单 扩展 ， 不 过 聊天 的 不 是 人 ， 而 是 分 布 式 系统 中 
的 程序 。 本 贡 的 代码 见 examples/hub。 

在 分 布 式 系统 中 ， 除 了 常用 的 end-to-end 通 信 ， 还 有 一 对 多 的 广播 
通信 。 一 提 到 “广播 "， 或 许 会 让 人 联想 到 IP 多 播 或 I1P 组 播 ， 这 不 是 本 市 
en 本 看 将 要 谈 的 是 基于 TCP 协 议 的 应 用 层 广 播 。 示 意 网 如 网 7-49 

外。 


Publisher SuUubscriber Subscriber 
pubsub pubsub pubsub 
library library z library 

人 a 
图 7-49 


图 7-49 中 的 圆 角 和 矩形 代表 程序 ，“Hub” 是 一 个 服务 程序 ， 不 是 网 络 
集线器 ， 它 起 到 类 似 集 线 器 的 作用 ， 故 而 得 名 。Publisher 和 Subscriber 通 


过 TCP 协 议 与 Hub 程 序 通 信 。Publisher 把 消息 发 到 某 个 topic 上 ， 
Subscriber 订 阅 访 topic， 然 后 束 能 收 到 消 晨 。 即 Publisher 人 借助 Hub 把 消 忆 
广播 给 了 一 个 或 多 个 Subscriber。 这 种 pub/sub 结 构 的 好 处 在 于 可 以 增加 
多 个 Subscriber 而 不 用 修改 Publisher， 一 定 程 度 上 实现 了 “ 解 灰 ”( 也 可 以 
看 成 分 布 陈 的 Observer pattern ) 。 由 于 走 的 征 TCP 协 议 ， 广 播 是 基本 可 
徘 的 ， 这 里 的 “可 徘 ” 指 的 是 “ 比 UDP 可 徘 ”， 丰 是 “完全 可 徘 ”。 了 YX 〈 忆 
考 : 如 何 避 免 Hub 成 为 single point of failure? ) 

为 了 避免 串扰 〈cross-talk) ， 每 个 topic 在 同一 时 间 只 应 该 有 一 个 
Publisher，Hub 不 提供 compare-and-swap 操 作 。 

应 用 层 广 播 在 分 布 式 系统 中 用 处 很 大 ， 这 里 略 举 儿 例 。 

体育 比分 转播 ”有 8 片 比赛 场地 正在 进行 羽毛 球 比 赛 ， 每 个 场地 的 
计 分 程序 把 当前 比分 肥 送 到 各 目的 topic 上 《第 1 号 场地 友 大 到 court1， 第 
2 写 场 地 发 送 到 court2， 依 此 类 推 。 需 要 用 到 比分 的 程序 《赛场 的 大 屏 
彰显 未 、 网 上 比分 转播 等 ) 目 己 订阅 感 兴趣 的 topic， 吏 能 及 时 收 到 最 新 
比分 数据 。 由 于 本 节 实 现 的 不 是 100% 可靠 广播 ， 那 么 消息 应 该 是 
snapshot， 而 不 是 delta。〔 换 句 话 说 ， 消 奶 的 内 容 是 “现在 是 几 比 几 ”， 
而 不 是 “了 刚才 谁 得 分 ”。 ) 

负载 监控 ”每 台 机 器 上 运行 一 个 监控 程序 ， 周 期 性 地 把 本 机 当前 
负载 (CPU、 网 络 、 磁 盘 、 温 度 ) publish 到 以 hostname 命 名 的 topic 上 ， 
这 样 需要 用 到 这 些 数 据 的 程序 只 要 在 Hub 订 疝 相 应 的 topic 吏 能 获得 数 
据 ， 无 有 顷 与 多 人 台 机 需 直 接 打 交道 。 (为 了 可 靠 起 见 ， 监 控 程 序 发 送 的 消 
恩 中 应 该 包含 时 间 惟 ， 这 样 能 防止 过 期 (stale) 数据 ， 甚 至 一 定 程 度 上 
起 到 心跳 的 作用 。)， 褒 独 这 个 思路 ， 分 布 式 系统 中 的 服务 程序 也 可 以 把 
目 己 的 当前 负载 发 布 到 Hub 上 ， 供 load balancer 和 monitor 取 用 。 


协议 


为 了 人 窗 单 起 见 ，muduo 的 Hub 示 例 采 用 以 “rn 分界 的 文本 协议 ， 这 
样 用 telnet 就 能 测试 Hub。 协 议 只 有 以 下 三 个 命令 : 


“sub <topic>\rn 

该 命令 表示 订阅 <topic>， 以 后 该 topic 有 任何 更 新 都 会 发 给 这 个 TCP 
连接 。 在 sub 的 时 候 ，Hub 会 把 该 <topic> 上 最 近 的 消 居 发 给 此 
9ubscriber。 

‘unsub <topic>\rn 

该 命令 表示 退 订 <topic>。 

:pub <topic>\r\n<content>\rn 


往 <topic> 有 发 大 消息 ， 内 容 为 <content>。 上 所 有 订阅 了 此 <topic> 的 
Subscriber 会 收 到 同样 的 消息 ”pub <topic>NNn<content>Nrn2”。 


代码 
muduo 示 例 中 的 Hub 分 为 几 个 部 分 : 


.Hub 服务 程序 ， 负 责 一 对 多 的 消息 分 帮 。 它 会 记 住 每 个 client 订 阅 
了 哪些 topic， 只 把 消息 发 给 特定 的 订阅 者 。 人 代码 参见 exampleshub/hub.cc 


.pubsub 库 ， 为 了 方便 编写 使 用 Hub 服 务 的 应 用 程序 ， 我 写 了 一 个 简 
单 的 client library， 用 来 和 Hub 打 交道 。 这 个 library 可 以 订阅 topic、 退 订 
topic、 往 指定 的 topic 发 布 消息 。 代 人 码 参 见 examples/hub/pubsub.{h,cc} 。 

“sub 示例 程序 ， 这 个 命令 行程 序 订阅 一 个 或 多 个 topic， 然 后 等 竺 
Hub 的 数据 。 代 码 参 见 examples/hub/sub.cc 。 

-pub 示例 程序 ， 这 个 命令 行程 序 往 某 个 topic 发 布 一 条 消息 ， 消 息 内 
容 由 命令 行 参数 指定 。 代 码 参 见 examples/hub/pub.cc 。 


一 个 程序 可 以 既是 Publisher 义 是 Subscriber， 而 且 pubsub 库 只 用 一 个 
TCP 连 接 〈 这 样 failover 比 较 简 便 ) 。 使 用 范例 如 下 所 示 。 


.开局 4 个 命令 行 窗口 。 
在 第 一 个 窗口 运行 $ hub 9999，。 
在 第 二 个 窗口 运行 $ sub 127.0.0.1:9999 mytopic。 
在 第 三 个 窗口 运行 $ sub 127.0.0.1:9999 mytopic court。 
5. 在 第 四 个 窗口 运行 $ pub 127.0.0.1:9999 mytopic "Hello world."， 

这 时 第 二 、 三 号 窗口 都 会 打印 “mytopic: Hello world.”， 表 明 收 到 了 
mytopic 这 个 主题 上 有 的 消 忆 。 

6. 在 第 四 个 窗口 运行 $ pub 127.0.0.1:9999 court "13:11"， 这 时 第 三 
窗口 会 打印 “court: 13:11”， 表 明 收 到 了 court 这 个 主题 上 的 消息 。 第 二 
窗口 没有 订阅 此 消息 ， 故 无 输出 。 


人 CD IN 请 


da dia 


借助 这 个 简单 的 pub/sub 机 制 ， 还 可 以 做 很 多 有 意思 的 事情 。 比 如 把 
分 布 式 系统 中 的 程序 的 一 部 分 end-to-end 通 信 改 为 通过 pub/sub 来 做 〈 例 
如 ， 原 来 是 A 癌 B 发 一 个 SOAP request，B 通 过 同一 个 TCP 连 接 发 回 
response 《分析 二 者 的 通信 只 能 骨 过 查看 log 或 用 tcpdump 截 锋 ) ; 现在 
是 A 往 topic_a_to_b 上 友 布 request，B 在 topic_b_to_a 上 发 response) ， 这 


样 多 挂 一 个 monitoring subscriber 吏 能 轻易 地 符 看 通信 双方 的 沟通 情况 ， 
很 容易 做 状态 监控 与 trouble shooting。 


多 线程 的 局 效 广播 


在 本 下 这 个 例子 中 ，Hub 征 个 单线 程 程序 。 假 如 有 一 条 消 县 要 广播 
给 1000 个 订阅 者 ， 那 么 只 能 一 个 一 个 地 及 ， 第 1 个 订阅 者 收 到 消 轧 和 第 
1000 个 订阅 者 收 到 消息 的 时 关 可 以 长 达 看 干 坚 秒 。 那 么 ， 有 没有 办 法 提 
高 速度 、 降 低 延 开 呢 ? 我 们 当然 会 想到 用 多 线程 。 但 是 徐 单 的 办 法 并 不 
一 定 能 有 委 效 ， 因 为 一 个 全 局 锁 驶 把 多 线程 程序 退化 为 单线 程 执行 。 为 了 
真正 提速 ， 我 想到 了 用 thread local 的 办 法 ， 比 如 把 1000 个 订阅 者 分 给 4 个 
线程 ， 每 个 线程 的 操作 基本 都 古 无 锁 的 ， 这 样 可 以 做 到 并 行 地 发 送 消 
轧 。 示 例 代 但 见 examples/asio/chat/seryer threaded highperformance.cc 。 


7.12 “ 串 并 转换 ?连接 服务 谷 及 其 目 动 化 测试 


本 市 介绍 如 何 使 用 test harness 来 测试 一 个 其 有 内 部 馆 辑 的 网 络 服务 
程序 。 这 是 一 个 既 扮 演 服 务 闹 ， 义 扮演 宪 尸 问 的 网 络 程序 。 代 但 见 
examples/multiplexer 。 

云 风 在 他 的 博客 中 提 到 了 网 游 连 接 服 务 占 的 功能 需求 *， 我 用 
C++ 初步 实现 了 这 些 需 求 ， 并 为 之 编写 了 配套 的 目 动 化 test harness， 作 
为 muduo 网 络 库 的 示例 。 

注意 : 本 节 呈 现 的 代 人 码 仅 仅 实 现 了 基本 的 功能 需求 ， 没 有 考虑 安全 
也 疫 有 特别 优化 性 能 ， 不 适合 用 作 真 正 的 放 在 公 网 上 运行 的 网 洲 连 

关 服 务 厂 。 


这 个 连接 服务 右 把 多 个 客户 连接 汇聚 为 一 个 内 部 TCP 连 接 ， 起 
到 “数据 串 并 转换 ”的 作用 ， 让 backend 的 逻辑 服务 器 专心 处 理 业 务 ， 而 
无 须 顾 及 多 连接 的 并 发 性 。 系 统 的 框图 如 图 7-50 所 示 。 


这 个 连接 服务 占 的 作用 与 数字 电路 中 的 数据 选择 磊 (multiplexer) 
类 似 〈 见 图 7-51〉， 所 以 我 把 它 命 名 为 multiplexer。 (其 实 IO 
multiplexing 也 是 取 的 这 个 意思 ， 让 一 个 thread-of-control 能 有 选择 地 处 理 
多 个 IO 文件 搞 述 符 。) 
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图 7-50 
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图 7-51〈 本 图 取 自 wikipedia， 是 public domain 版权 ) 
实现 


multiplexer 的 功能 需求 不 复杂 ， 无 非 是 在 backend connection 和 cjlient 
connections 之 间 倒 腾 数 据 。 对 每 个 新 client connection 分 配 一 个 新 的 整数 
id， 如 条 id 用 完了 ， 则 上 断 开 新 连接 〈 这 样 通 过 控制 id 的 数目 束 能 控制 最 
大 连接 数 ) 。 另 外 ， 为 了 避免 id 过 快 地 航 复 用 《〈 有 可 能 造成 backend 串 
话 ) ，maultiplexer 采 用 queue 来 管理 free id， 每 次 从 队列 的 头 部 取 id， 用 
完 之 后 放 回 queue 的 尾部 。 有 基体 来 说 ， 主 要 是 处 理 四 种 事件 : 


: 当 client connection 到 达 或 凡 开 时 ， 同 backend 发 出 通知 。 代 人 码 见 


onClientConnection()。 


当 从 client connection 收 到 数据 时 ， 把 数据 连同 connection id 一 同 友 
给 backend。 代 人 码 见 onClientMessage()。 

当 从 backend connection 收 到 数据 时 ， 关 别 数据 是 用 给 哪个 client 
connection， 并 执行 相应 的 转发 操作 。 代 但 见 onBackendMessage()。 

如果 backend connection 断 开 连 接 ， 则 断 开 所 有 client 
connections〈 假 说 client 会 目 动 重 试 ) 。 代 人 码 见 onBackendConnection()。 


由 上 可 见 ，mnultiplexer 的 功能 与 proxy 颇 为 类 似 。multiplexer simple.cc 
是 一 个 单线 程 版 的 实现 ， 借 助 muduo 的 IO multiplexing 特 性 ， 可 以 方便 地 
处 理 多 个 并 发 连接 。 多 线程 版 的 实现 见 multiplexer.cc 。 

在 实现 的 时 候 有 以 下 两 点 值得 注意 。 

TcpConnection 的 这 如 何 存 放 ? 当 从 backend 收 到 数据 ， 如 何 根 据 
id 找 到 对 应 的 dient connection? 当 从 client connection 收 到 数据 ， 如 何 得 
和 若 其 id? 

第 一 个 问题 比较 好 解决 ， 用 std::map<int, TcpConnectionPtr> 
clientConns 保存 从 id 到 client connection 的 映射 就 行 。 

第 二 个 问题 固然 可 以 用 燃 似 的 办 法 解决 ， 但 是 我 想 信 此 介绍 一 下 
muduo::net:: TcpConnection 的 context 功 能 。 每 个 TcpConnection 都 有 一 个 
boost::any 成 员 ， 可 由 客户 代码 目 由 文 配 (get/set) ， 代 人 码 如 下 。 这 个 
boost::any 是 TcpConnection 的 context， 可 以 用 于 保存 与 connection 比 定 的 
任意 数据 《比方 说 connectionid、connection 的 最 后 数据 到 达 时 间 、 
connection 所 代表 的 用 户 的 名 字 等 等 ) 。 这 样 客 户 代 码 不 必 继 承 
TcpConnection 束 能 attach 目 己 的 状态 ， 而 且 也 用 不 看 
TcpConnectionFactory 了 《如果 人 允许 继承 ， 那 么 必然 要 同 TcpServer 注 入 
此 factory) 。 


muduo/net/TcpConnection.h 
class TcpConnection : boost: :noncopyable, 
public boost::enable_shared_from_this<TcpConnection> 


{ 
public: 


vold setContext(const boost::any& context) 
{ context_ = context: } 


const boost::any& getContext() const 
{ return context_; } 


boost: :any* getMutableContext() 
{ return &context_; } 


J 


private: 
A aa 
boost: :any context_: 
上 
typedef boost::shared_ptr<Tcpeconnection> TcpConnectionPtr: 
muduo/net/TcpConnection.h 
对 于 multiplexer， 在 onClientConnectionO 里 调用 conn- 
>SetContext(id)， 把 id 存 到 TcpConnection 对 象 中 。onClientMessageO 从 
TcpConnection 对 象 中 取得 id， 连 同 数据 一 起 有 发送 给 backend， 完 整 实现 
如 下 : 


一 examplewmultiplexermuttiplexer simple.cc 
117 vold onCtlientMessage(const TcpConnectionPtr& conn，Bufferx buf, Timestamp) 


118 { 

119 if (lconn->getContext().empty()) 
120 { 

121 int id = boost::any_cast<int>(conn->getContext()); 
122 sendBackendBuffer(id, buf).; 
123 ) 

124 else 

125 | 

126 buf ->retrieveAllc): 

127 7 error handlineg 

128 } 

129 } 


examples/multiplexer/multiplexer simple.cc 


TcpConnection 的 生命 期 如 何 管理 ? 由 于 client connection 古 动态 态 
创建 并 销毁 的 ， 其 生 与 灭 完全 由 客户 决定 ， 如 何 你 证 backend 想 同 它 发 
送 数 据 的 时 候 ， 这 个 TcpConnection 对 象 还 活着 ? 解决 思路 是 用 reference 


counting。 当 然 ， 不 用 目 己 与 ， 用 boost::shared eh TD Onn en 
是 muduo 中 唯一 默认 采用 shared_ptr 来 管理 后 命 期 的 对 象 ， 半 由 其 动态 生 
命 期 的 本 质 决 定 。 更 多 内 容 请 参考 第 1 章 。 

multiplexer 采 用 二 进 制 协议 ， 如 何 测试 呢 ? 


目 动 化 测试 


multiplexer 是 muduo 网 络 编程 示例 中 第 一 个 具有 non-trivial 业 务 馆 辑 
的 网 络 程 序 ， 根 据 $9.7“ 分 布 式 程 序 的 目 动 化 回归 测试 ”的 思路 ， 我 为 它 
编号 了 了 测试 夹具 (test harness) 。 代 人 码 见 examples/multiplexer/harness/ 。 

这 个 test harness 采 用 Java 编 号 ， 用 的 是 Netty 网 络 库 。 这 个 test 
harness 要 同时 扮演 cdlients 和 backend， 也 束 是 既 要 主动 发 起 连接 ， 也 要 被 
动 接受 连接 。 而 且 ，test harness 与 multiplexer 的 启动 顺序 是 任意 的 ， 如 
何 做 到 这 一 点 请 阅读 代码 。 结 构 如 图 7-52 所 示 。 


pa 和 各 


test harness 











图 7-52 


test harness 会 把 各 种 event 汇 聚 到 一 个 blocking queue 里 边 ， 方 便 编写 
test case。 test case 则 操纵 test harness， 发 起 连接 、 友 送 数 据 、 检 查收 到 
的 数据 ， 例 如 以 下 是 其 中 一 个 test case: testcase/TestOneClientSend.java 。 

这 里 的 几 个 test cases 都 是 用 Java 直 接 写 的 ， 如 果 有 必要 ， 也 可 以 采 
用 Groovy 来 编号， 这 样 可 以 在 不 重 局 test harmess 的 情况 下 随时 修改 、 添 
加 test cases。 具 体 做 法 见 笔者 的 博客 《“ 过 家 家 ”版 的 移动 离线 计 费 系统 
实现 》:。 


将 来 的 改进 


有 了 这 个 目 动 化 的 test harness， 我 们 可 以 比较 方便 且 安 全 地 修改 
(甚至 重新 设计 ) multiplexer 了。 例如 : 


:增加 “backend 发 送 指令 断 开 client connection” 的 功能 。 有 了 自动 化 
测试 ， 这 个 新 功能 可 以 被 单独 测试 〈 开 发 者 测试 ) ， 而 不 需要 真正 的 
backend 参 与 进来 。 

:将 multiplexer 改 用 多 线程 重 写 。 有 了 目 动 化 回归 测试 ， 我 们 不 用 担 
心 破 坏 原 有 的 蕊 能 ， 可 以 放心 大 胆 地 重 写 。 而 且 由 于 test harness 是 从 外 
部 测试 ， 不 是 单元 测试 ， 重 写 multiplexer 的 时 候 不 用 动 test cases， 这 样 
保证 了 测试 的 稳定 性 。 另 外 ， 这 个 test harness 稍 加 改进 还 可 以 进行 stress 
testing， 既 可 用 于 验证 多 线程 multiplexer 的 正确 性 ， 亦 可 对 比 其 相对 单 
线程 版 的 效 深 提升 。 


7.13 ”socks4a 代 理 服务 器 


本 而 介绍 用 muduo 实 现 一 个 简单 的 Socks4a 代 理 服 务 右 〈 
testcase/TestOneClientSend.Jjava ) 。 


7.13.1 TCP 中 继 器 


在 实现 socks4a proxy 之 前 ， 我 们 先 写 一 个 功能 更 简单 的 网 络 程序 
TCP 中 继 占 (TCP relay) ， 或 者 叫做 穷人 的 tcpdump (poor man's 
tcpdump) 。 

一 般 情 况 下 ， 客 户 问 程序 直接 连接 服务 闹 ， 如 图 7-53 所 未 。 


client i — server 


图 7-53 


有 了 时候， 我 们 想 在 dient 和 server 之 间 放 一 个 中 继 器 (relay) ， 把 
client 与 Server 之 间 的 通信 内 容 记 录 下 来 。 这 时 用 tcpdump 是 最 方便 省 事 
的 ， 但 是 tcpdump 需 要 root 权 限 ， 万 一 拿 不 到 权限 呢 ? 务 人 有 务 人 的 办 
法 ， 目 己 与 一 个 TcpRelay， 让 client 和 连接 TcpRelay， 有 再 让 TcpRelay 连 接 
server， 如 图 7-54 中 的 T 型 结构 ，TcpRelay 扮 演 了 类 似 proxy 的 角色 。 








Log 


只 
ss 


por 


图 7-54 


TcpRelay 坪 我 们 目 己 与 的 ， 可 以 动 动手 脚 。 除 了 记录 通信 入 容 外 ， 
还 可 以 制造 延 时 ， 或 者 故意 翻转 1bit 数 据 以 模拟 router 便 件 故障 。 

TcpRelay 的 功能 (业务 逻辑 ) 看 上 去 很 和 测 单 ， 无 非 是 把 连接 C 上 收 
到 的 数据 发 给 连接 S， 同 时 把 连接 $ 上 收 到 的 数据 发 给 连接 C。 但 仔细 考 
在 起 来 ， 细 节 其 实 不 那么 简单 : 


1. 建立 连接 。 为 了 真实 模拟 client，TcpRelay 在 accept 连 接 C 之 后 才 
回 server 有 起 连接 $S， 那 么 在 $ 建 立 起 来 之 前 ， 从 C 收 到 数据 怎么 从? 要 
不 要 将 存 起 来 ? 

2. 并 有 连接 的 管理 。 图 7-54 中 只 画 出 了 一 个 client， 实 际 上 
TcpRelay 可 以 服务 多 个 client， 左 右 两 边 这 些 并 及 连接 如 何 管 理 ， 如 何 防 
止 串 话 (cross talk) ? 

3. 连接 靳 开 。client 和 server 都 可 能 主动 断 开 连接 。 当 dlient 主 动 靳 
开 连 接 C 时 ，TcpRelay 应 该 并 刻 汤 开 S。 当 server 主 动 断 开 连 接 S 时 ， 
TcpRelay 应 立刻 断 开 C。 这 样 才 能 比较 精确 地 模拟 client 和 server 的 行 
为 。 在 关闭 连接 的 一 判 那 ， 又 有 新 的 client 连 接 进 来 ， 复 用 了 刚刚 close 
的 fd 号 合 ， 会 不 会 造成 训话 ? 万 一 client 和 server 几 乎 同时 主动 断 开 连 
接 ，TcpRelay 如 何 应 对 ? 

4， 速 度 不 匹配 。 如 末 连 接 C 的 融 宽 是 100kB/s， 而 连接 S 的 市 宽 是 
10MB/s， 不 巧 server 是 个 chargen 服 务 ， 会 全 速 及 送 数 据 ， 那 么 会 不 会 返 
炬 TcpRelay 的 buffer? 如 何 限 速 ? 特别 是 在 使 用 non-blocking IO 和 level- 
trigger polling 的 时 候 如 何 限制 谈 取 数据 的 速度 ? 


在 看 muduo 的 实现 之 前 ， 请 读者 思考 : 如 果 用 Sockets API 来 实现 
TcpRelay， 如 何 解决 以 上 这 些 问 题 。〈 如 果真 要 实现 这 人 么 一 个 功能 ， 可 
以 试 试 splice(2) 系 统 调用 。) 

如 条 用 传统 多 线程 阻 故 IO 的 方式 来 实现 TcpRelay 一 点 也 不 难 ， 好 处 


是 自动 解决 了 速度 不 匹配 的 问题 ，Python 代 码 如 下 。 这 个 实现 功能 上 没 
有 问题 ， 但 是 并 及 度 束 高 不 到 哪儿 去 了 。 注 意 以 下 代码 会 一 个 字 记 一 个 
字 节 地 转 及 数据 ， 每 两 个 字 节 之 间 间 隔 1ms， 可 以 用 于 测试 网 络 程序 的 
消息 解码 功能 〈codec) 和 是否 完善 。 


recipes/python/tcprelay.py 


1 #!/usr/bin/python 

2 

3 Import socket, thread, time 

| 

5 listen_port = 38087 

6 connect_addr = ('localhost’, 2007) 

了 sleep_per_byte = 0.80001 

8 

9 def forward(source, destination): 

10 source_addr = source.getpeername() 

11 while True: 

12 data = source.recv(4096) 

13 If data: 

14 for 1 In data: 

15 destination. sendall(i) 

16 time.sleep(sleep_per_byte) 
17 else: 

18 print ‘disconnect ,， source_addr 
19 destination.shutdown(socket .SHUT_WR) 
20 break 

21 


22 serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
23 Serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 


24 serversocket.,.bind(('', listen_port)) 

25 Serversocket.1listen(5) 

2 

27 While True: 

28 clientsocket, address) = serversocket.accept() 

29 print 'accepted’', address 

30 sock = socket,.socket(socket,AF_INET, socket.SOCK_STREAM) 
31 sock.connect(connect_addr) 

32 print ‘connected’, sock.getpeername(l) 

33 thread.start_new_thread(forward, (clientsocket, sock)) 
34 thread.start_new_thread(forward, (sock, clientsocket)) 


recipes/python/tcprelay.py 


TcpRelay 的 实现 很 徐 单 ， 只 有 几 十 行 代码 《 
examples/socks4a/tcprelaycc ) ， 主 要 逻辑 都 在 Tunnel class 里 ( 
examples/socks4a/tunnelLh ) 。 这 个 实现 很 好 地 解雇 了 前 三 个 问题 ， 第 四 
个 问题 的 解法 比较 粗暴 ， 用 的 是 HighWaterMarkCallback， 如 果 发 送 缓冲 
区 堆积 的 数据 大 于 10MiB 就 断 开 连接 (更 好 的 办 法 见 88.9.3) 。 
TcpRelay 既 十 服务 闫 ， 又 是 客户 奖 ， 在 阅读 代码 的 时 候 要 注意 
onClientMessage0O 处 理 的 是 从 server 发 来 的 消息 ， 表 示 它 作为 客户 端 


Cclient) 收 到 的 消息 ， 这 与 前 面 的 multiplexer 正 好 相反 。 
7.13.2 ”socks4a 代 理 服 务 喜 


socks4a 的 功能 与 TcpRelay 非 钊 相似 ， 也 是 把 连接 C 上 收 到 的 数据 及 
给 连接 S， 同 时 把 连接 S 上 收 到 的 数据 发 给 连接 C。 它 与 TcpRelay 的 区 别 
在 于 ，TcpRelay 国 定 连 到 某 个 server 地 址 ， 而 socks4a 人 允许 client 指 定 要 连 
哪个 server。 在 accept 连 接 C 之 后 ，socks4a server 会 读 几 个 字 节 ， 以 了 解 
server 的 地 址 ， 再 发 起 连接 S。socks4a 的 协议 非常 简单 ， 请 参考 维基 百科 

muduo 的 socks4a 代 理 服务 器 的 实现 在 examples/socks4a/socks4a.cc ， 
它 也 使 用 了 Tunnel class。 与 TcpRelay 相 比 ， 只 多 了 解析 server 地 址 这 一 
步 又 。 日 前 DNS 地 址 解析 这 一 步 用 的 是 阻 守 的 gethostbyname() 函 数 ， 在 
真正 的 系统 中 ， 应 该 换 成 非 阻 塞 的 DNS 解 析 ， 可 参考 87.15。muduo 的 这 
个 socks4a 是 个 标准 的 网 络 服务 ， 可 以 供 Web 浏 只 器 使 用 (我 正 是 这 么 测 
试 它 的 ) 。 


7.13.3 N : 1 与 1 : N 连 接 转 发 


云 风 在 《 写 了 一 个 proxy 用 途 你 懂 的 》2 中 写 了 一 个 TICP 了 隧道 
tunnel， 程 序 由 三 部 分 组 成 : N : 1 连接 转发 服务 ，1 : N 连 接 转 发 服务 ， 
socks 代 理 服务 。 

我 仿照 他 的 思路 ， 用 muduo 实 现 了 这 三 个 程序 。 不 同 的 是 ， 我 没有 
做 数据 泥 消 ， 所 以 功能 上 有 所 减弱 。 

'N : 1 连接 转发 服务 束 是 87.12 中 的 multiplexer 〈 数 据 选择 堪 ) 。 

“1 : N 和 连接 转发 服务 是 云 风 文中 提 到 的 backend， 一 个 数据 分 配 堪 

(Cdemultiplexer) ， 代 人 码 在 examples/multiplexer/demux.cc 。 
socks 代 理 服务 正 古 87.13.2 实 现 的 socks4a。 


有 兴趣 的 读者 可 以 把 这 三 个 程序 级 联 起 来 试 一 试 。 
7.14 ” 短 址 服务 


muduo 内 置 了 一 个 简陋 的 HTTP 有 服务器， 可 以 处 理 简 单 的 HTTP 请 
求 。 这 个 HTTP 服 务 器 是 面 同 内 网 的 暴露 进程 状态 的 监控 问 口 ， 不 是 面 


问 公 网 的 功能 完善 且 健 壮 的 httpd， 其 接口 与 J2EE 的 HttpServlet 有 几 分 类 
似 。 我 们 可 以 拿 它 来 实现 一 个 简单 的 短 URL 转 发 服务 ， 以 简要 说 明 其 用 
法 。 代 码 位 于 examples/shorturl/shorturl.cc 。 


examples/shorturl/shorturl.cc 
std: :map<string，string> redirections: // URL 转发 表 


vo1ld onRequest(const HttpRegquest& reg, HttpResponse* resp) 
LOG_INFO << "Headers " << req.methodSstring() << " " << reg.pathO: 
:/ TODO: support PUT and DELETE to Create new redirections on-the-fly. 


std: :map<string, string>::const_iterator it = redirections.find(reqg.pathe)); 
if (it != redirections.end(yy // 如 果 找 到 了 姐 址 
t 
resp->setSstatusCode(HttpResponse: :k301MovedPermanently): 
resp->setStatusMessage(" Moved PermanentJlLy ) ; 
resp->addHeader ("Location"，it->second): // 转发 到 it->second 地 址 
1 resp->setCloseConnection(true):; 


op 
| 
int main() 
{ 


redirections["/1"] 
redirections["/2"] : 


"http://chenshuo. com’; 
"http://blog.csdn.net/Solstice"; 


EventLoop loop: 

HttpServer server(&loop, InetAddress(8088}), "shorturl"): 
server.setHttpCallback(onRegquest): 

server.start(): 

loop. loop(); 


examples/shorturl/shorturl.ce 
muduo 并 没有 为 短 连 接 TCP 服 务 优 化 ， 无 法 发 挥 多 核 优势 。 一 种 真 
正高 效 的 优化 手段 是 修改 Linux 内 核 ， 例 如 Google 的 SO_REUSEPORT 内 
核 补 丁 2。 
该 者 可 以 试 试 建立 一 个 loop 转 友 ， 例如 /1” _， 1 _， Ee SE 看 
看 浏 顺 磊 反 应 如 何 。 


7.15 与 其 他 库 集 成 


表 面 介绍 的 网 络 应 用 例子 都 是 百 接 用 muduo 库 收 友 网 络 消 轧 ， 也 束 


是 主要 介绍 TcpConnection、TcpServer、TcpClient、Buffer 等 class 的 使 


用 。 


本 节 将 稍微 深入 其 内 部 ， 介 绍 Channel class 的 用 法 ， 通 过 它 可 以 把 


其 他 一 些 现成 的 网 络 库 融 入 muduo 的 event loop 中 。 


Channel class 是 IO 事件 回调 的 分 发 器 〈dispatcher) ， 它 在 


handleEventO 中 根据 事 件 的 具体 次 型 分 别 回 调 ReadCallback、 
WriteCallback 等 ， 代 码 见 88.1.1。 每 个 Channel 对 象 服务 于 一 个 文件 描述 


侍 


但 并 不 拥有 fd， 在 析 构 函数 中 也 不 会 cose(fd)。Channel 也 使 用 


muduo 一 贯 的 boost::function 来 表示 水 数 回调 ， 它 不 是 基 类 ss 。 这 样 用 户 
代码 不 必 继 承 Channel， 也 无 顷 override 庶 图 数 。 


class Channel : boost::noncopyable 


- muduo/net/Channel.h 


public: 


}; 


typedef boost::function<void()> EventCallback: 
typedef boost::function<void(Timestamp)> ReadEventCallback; 


channel(EventLoop* loop, int fd): 
~Channel dtd); 


vold setReadCallback(const ReadEventCallback& cby ， 
void setWriteCallback(const EventCallback& cby) ; 
vold setCloseCallback(const EventCallback& cb): 
void setErrorcallback(const EventCcallback& cb): 


void enableReading(): 

// void disableReading(); // 暂时 没有 用 到 

void enableWriting(): 

vold disableWriting():; 

volid disableAll(): 

void handleEvent(Timestamp receiveTime); // 由 EventLoop::loop() 调用 
A// Tie this channel to the owner object managed by shared_ptr， 

7/ prevent the owner object being destroyed in handleEvent. 

void tie(const boost::shared_ptr<void>&Y: // tie() 的 例子 见 7.15.3 市 


Int fd(Y const; // obvious 
volid removet ) ， 1/ loop_->removeChannel(this): 


muduo/net/Channel.h 


Channel 与 EventLoop 的 内 部 交互 有 两 个 冰 数 


EventLoop::updateChannel(Channel*) 利 
EventLoop::removeChannel(Channel*)。 和 客户 需要 在 Channel 析 构 前 日 己 调 


用 Channel::remove()。 


后 面 我 们 将 通过 一 些 实例 来 介绍 Channel class 的 使 用 。 
7.15.1 UDNS 


UDNS“ 是 一 个 stubsDNS 解 析 器 ， 它 能 够 异步 地 发 起 DNS 查询 ， 再 
通过 回调 函数 通知 结果 。UDNS 在 设计 的 时 候 束 考虑 到 了 配合 《融入 ) 
主 程序 现 有 的 基于 selecVypollyepol 的 event loop 模 型 ， 因 此 它 与 muduo 的 
配 接 相对 较为 容易 。 由 于 License 限 制 ， 本 节 的 代码 位 于 早 独 的 项 目 中 : 
https://github.com/chenshuo/muduo-udns 。 

muduo-udns 由 三 部 分 组 成 ， 一 是 udns-0.2 产 人 码 s， 二 是 UDNS 与 
muduo 的 配 接 器 (adapter) ， 即 Resolver class， 位 于 Resolvyer{fh,ccl ; 三 是 
简单 的 测试 dnscc ， 展 示 Resolver 的 使 用 。 前 两 部 分 构成 了 muduo-udns 
程序 库 。 

先 看 Resolver class 的 接口 (Resolver.h) : 


class Resolver : boost::noncopyable 
{ 
public: 
typedef boost: :function<volid(const lnetAddress&)> Callback: 


Resolver(EventLoop* loop): 
Resolver(EventLoop* loop, const InetAddress& nameServer).; 
“Resolver(): 


vold startdO): 
bool resolve(const StringPlieceg& hostname, const Callback& cb); 


ee 


其 中 第 一 个 构造 疯 数 会 使 用 系统 默认 的 DNS 服 务 绅 地 址 ， 第 二 个 构 
造 函 数 由 用 户 指 明 DNS 服 务 器 的 IP 地 址 ( 见 后 面 的 练习 1) 。 用 户 最 关 
心 的 是 resolve0O 函 数 ， 它 会 回调 用 户 的 Callback。 

在 介绍 Resolver 的 实现 之 前 ， 先 来 看 它 的 用 法 〈dns.cc) ， 下 面 这 上 段 
代码 同时 解析 三 个 域名 ， 并 在 stdout 输 出 结果 。 注 意 回 调 函 数 只 提供 解 
析 后 的 地 址 ， 因 此 resolveCallback 需 要 目 己 设法 记 住 域名 ， 这 里 我 用 的 


是 boost::bind。 


void resolveCcallback(const string& host, const InetAddress& addr) 


{ 
LOG_INFO << "resolved ”<< host << ” -> " << addr.toIpO): 


} 


void resolve(Resolver* res, const string& host) 


{ 
res->resolve(host, boost::bind(&resolveCallback, host, _1)); 
} 
Int main(int argc, char* argv|」) 
l 
EventLoop loop: 
Resolver resolver(&]loop).; 
resolver.start(): 
resolve(&resolver, "chenshuo.com"): 
resolve(&resolyver, "Www.example.com"): 
resolve(&resolver, WwW,EOOEJLe.com ); 
loop.loop(); // 开始 事件 御 环 
J 


由 于 是 异步 解析 ， 因 此 输出 结果 的 顺序 和 提交 请 求 的 顺序 不 一 定 一 
20120822 04:46:39.9450332Z 15726 INFO resolved www.google.com -> /4.125.71.104 


20120822 @4:46:41.9444647 15726 INFO resolved chenshuo.com -> 173.212.209.144 
20120822 04:46:42.0680842Z 15726 INFO resolved www.example.com -> 192.0.43.10 


UDNS 与 muduo Resolver 的 交互 过 程 如 下 : 


1. 初始 化 dns_ctx* 之 后 ，Resolver::start() 调 用 dns_open() 获 得 UDNS 
使 用 的 文件 描述 符 ， 并 通过 muduo Channel 观 察 其 可 读 事件 。 由 于 UDNS 
始终 只 用 一 个 socket fd， 只 观察 一 个 事件 ， 因 此 特别 容易 和 现 有 的 event 
loop 和 集成 。 

2. 在 解析 域名 时 (Resolver::resolve()) ， 调 用 dns_submit_a4() 发 起 
解 机 ， 并 通过 dns_timeoutsO 获 得 超时 的 秒 数 ， 使 用 EventLoop::runAfterO) 
注册 单 次 定时 问 回 调 。 

3. 在 fd 可 读 时 (Resolver::onRead()) ， 调 用 dns_ioeventO 。 如 末 
DNS 解析 成 功 ， 会 回调 Resolver::dns_query_a40) 通 知 解析 的 结果 ， 继 而 
调用 Resolver:: onQueryResult()， 后 者 会 回调 用 户 Callback。 


4. 在 超时 后 (Resolver::onTimer()) ， 调 用 dns_timeouts()， 必 要 时 
继续 注册 下 一 次 定时 需 回 调 。 


可 见 UDNS 是 一 个 设计 民 好 的 库 ， 可 与 现 有 的 event loop 很 好 地 结 
合 。UDNS 使 用 定时 器 的 原因 是 UDP 可 能 丢 包 ， 因 此 程序 必须 自己 处 理 
超时 重 传 。 

Resolve class 不 征 线程 安全 的 ， 各 户 代 但 只 能 在 EventLoop 所 属 的 线 
程 调 用 它 的 Resolver::resolve0 成 员 函 数 ， 解 析 结 果 也 是 由 这 个 线程 回调 
客户 代码 。 这 个 函数 通过 loop_->assertInLoopThread(); 来 确保 不 被 误 用 。 

C++ 程序 与 C 语 言 国 数 库 交 互 的 一 个 难点 在 于 资源 管理 ，muduo- 
udns 不 得 已 使 用 了 手工 new/delete 的 做 法 ， 每 次 解析 会 在 堆 上 创建 
QueryData 对 月 ， 这 样 在 UDNS 回 调 Resolver::dns_query_a40 时 才 知 道 访 
回调 哪个 用 户 Callback。 

练习 1: 补充 构造 图 数 Resolver(EventLoop* loop, const InetAddress&x 
nameServer) 的 实现 。 可 利用 文档 2 介绍 的 dns_add_serv_s() 函 数 。 

练习 2: 用 muduo-udns 改 进 87.13 的 socks4a 服 务 器 ， 蔡 换 其 中 阻 窜 的 
gethostbyname() 函 数 调用 ， 实 现 完 全 的 无 阻 野 服务 。 


71.15.2 Cc-ares DNS 


c-ares DNSs 是 一 球 和 常 用 的 异步 DNS 解 析 库 ，86.2 介 绍 了 它 的 安装 方 
法 ， 本 节 将 简要 介绍 其 与 muduo 的 集成 。 示 例 代 人 码 位 于 examples/cdns ， 
代码 结构 与 87.15.1 的 UDNS 非 常 相似 。Resolver.{h,cc} 是 c-ares DNS 与 
muduo 的 配 接 右 〈adapter) ， 即 udns::Resolver class; dnscc 是 简单 的 测 
试 ， 展 示 Resolver 的 使 用 。c-ares DNS 的 选项 非 第 钨 ， 本 节 只 是 展示 其 
与 muduo EventLoop 集 成 的 基本 做 法 ，cdns::Resolver 并 没有 和 又 露 其 全 部 
功能 。 

cdns::Resolver 的 接口 和 用 法 与 前 面 UDNS Resolver 相 同 ， 只 是 少 了 
start() 疯 数 ， 此 处 不 再 理 复 举例 。 

cdns::Resolver 的 实现 与 前 面 UDNS Resolver 很 相似 : 


1. Resolver::resolveO 调 用 ares_gethostbyname0 发 起 解析 ， 并 通过 
ares_timeoutO 获 得 超时 的 秒 数 ， 注 册 定 时 需 。 

2. 在 fd 可 旋 时 〈Resolver::onReadO ) ， 调 用 ares_process_fd()。 如 
果 DNS 解 析 成 功 ， 会 回调 Resolver::ares_host_callback()¥? 通 知 解析 的 结 
条 ， 继 而 调用 Resolver::onQueryResultO0， 后 者 会 回调 用 户 Callback。 

3. 在 超时 后 (Resolver::onTimer()) ， 调 用 ares_process_fd0 处 理 这 


一 事件 ， 并 再 次 调用 dns_timeouts0O) 获 得 下 一 次 超时 的 间隔 ， 必 要 时 继续 
注册 下 一 次 定时 塔 回调 。 


cdns::Resolver 的 线程 安全 性 与 UDNS Resolver 相 同 。 

与 UDNS 不 同 ，c-ares DNS 会 用 到 不 止 一 个 socket 文 件 摘 述 符 三 ， 而 
且 既 会 用 到 fd 可 谍 事 件 ， 又 会 用 到 fd 可 写 事 件 ， 因 此 cdns::Resolver 的 代 
伺 比 UDNS 要 复杂 一 些 。Resolver::ares_sock_create_callbackO 是 新 建 
socket fd 的 回调 函数 ， 其 中 会 调用 Resolver::onSockCreate() 来 创建 
Channel 对 象 ， 这 正 是 Resolver 没 有 start0) 成 员 函 数 的 原因 。 
Resolver::ares_sock_state_callback() 古 变更 socket fd 状态 的 回调 函数 ， 会 
通知 该 观察 哪些 IO 事 件 (可 读 and/or 可 写 )。 

练习 3: 阅读 源码 并 测试 c-ares DNS 什么 时 候 需 要 观察 “fd 可 写 ” 事 
件 ， 然 后 补充 完整 Resolver::onSockStateChange()。 

练习 4: 修改 Callback 的 原型 ， 让 Resolver 能 返回 地 址 列表 

(std::vector<InetAddress>) ， 这 个 练习 同样 适用 于 8§7.15.1 的 UDNS。 

练习 5: 为 libunbounds 编 写 类 似 的 muduo adapter。 注 意 它 似乎 没有 

使 用 timeout， 人 很 奇怪 。 


7.15.3 curl 


libcurl 是 一 个 常用 的 HTTP 客 户 端 库 3， 可 以 方便 地 下 载 HTTP 和 
HTTPS 数 据 。1libcurl 有 两 套 接 口 ，easy 和 multi， 本 节 介 绍 的 是 使 用 其 
multi 接 口 s 以 达到 单线 程 并 友 访 问 多 个 URL 的 效果 。muduo 与 libcurl 搭 配 
的 例子 见 examples/curl ， 其 中 包含 单线 程 多 连接 并 及 下 载 同一 文件 的 示 
例 ， 即 单线 程 实现 的 “多 线程 下 载 右 ”。 

libcurl 融 入 muduo EventLoop 的 复杂 上 度 比 前 面 两 个 DNS 库 都 更 高 ， 一 
方面 因为 它 本 时 的 功能 丰 定 ， 男 一 方面 也 因为 它 的 接口 设计 更 偏重 传统 
阻塞 IO《〈 它 原本 是 从 curl() 这 个 命令 行 工 具 和 剥离 出 来 的 ) ， 在 事件 驱动 
方面 的 调用 、 回 调 、 传 参 都 比较 烦 玉 。 这 里 不 去 详细 解释 每 一 个 图 数 的 
作用 ， 想 必 读 者 在 读 过 前 两 节 之 后 已 经 对 Channel 的 用 法 有 了 其 本 的 了 
解 ， 对 照 libcurl 文 档 和 muduo 代 人 码 束 能 搞 明 日 。 

练习 6: 修改 curl::Request::DataCallback 的 原型 ， 改 为 以 muduo::net:: 
Buffer* 为 参数 ， 方 便 用 户 使 用 。 这 需要 在 curl::Request 中 增加 Buffer 成 
i 

第 1 重 我 们 探讨 了 多 线程 程序 中 的 对 象 生 命 期 管理 技术 。 在 单线 程 
事件 驱动 的 程序 中 ， 对 象 的 生命 期 省 理 有 时 也 不 简单。 比方 说 图 7-55 展 
示 的 例子 ， 对 方 断 开 TCP 连 接 ， 这 个 IO 事件 会 触发 


Channel::handleEventO 调 用 ， 后 者 会 回调 用 户 提 供 的 CloseCallback， 而 
用 户 代 人 码 在 onCloseO 中 有 可 能 析 构 Channel 对 象 ， 这 了 束 造 成 了 灾难 。 等 
于 说 Channel::handleEventO 执 行 到 一 半 的 时 候 ， 其 所 属 的 Channel 对 象 本 
丑 被 销毁 了 。 这 时 程序 立刻 core dump 束 是 最 好 的 结果 了 。 


EventLoop ] | Channel | | Request | 








| 7 loop () 
/3 handleEvent() 
onClosel) 
| 
| 
removeGhannell) 
delete 


图 7-55 


muduo 的 解决 办 法 是 提供 Channel::tie(const 
boost::shared_ptr<void>&) 这 个 疯 数 ， 用 于 延长 菜 些 对 象 s 的 生命 期 ， 使 
之 长 过 Channel::handleEvent0 疯 数 。 这 也 是 muduo TcpConnection 采 用 
shared_ptr 管 理 对 象 生 命 期 的 原因 之 一 ; 否则 的 话 ， 
Channel::handleEvent() 有 可 能 引发 TcpConnection 析 构 ， 继 而 把 当前 
Channel 对 象 也 析 构 了 ， 引 起 程序 朋 泪 。 

第 三 方 库 与 nuduo 集 成 的 万 外 一 个 问题 是 对 IO 事件 变化 的 理解 可 能 
不 一 致 。 合 libcurl 来 说 ， 它 会 在 茶 个 文件 措 述 符 需 要 关注 的 IO 事件 及 生 
赤 化 的 时 候 通 知 外 围 的 event loop 库 ， 比 方 说 原来 关注 POLLIN， 现 在 天 
注 (POLLIN | POLLOUT)，muduo 在 Curl::socketCallback 回 调 函 数 中 会 相 
应 地 调用 Channel::enableWriting()， 能 正确 处 理 这 种 变化 。 

不 等 的 是 ，libcurl 在 与 c-ares DNS 配 合 s 的 时 候 会 出 现 与 muduo 不 莱 
容 的 现象 。libcurl 在 访问 URL 的 时 候 先 要 解析 其 中 的 域名 ， 然 后 再 对 那 
个 Web 服 务 器 发 起 TCP 连 接 。 在 与 c-ares DNS 搭配 时 会 出 现 一 种 情况 : c- 
ares DNS 解 析 域 名 用 到 的 与 DNS 服 务 顷 通信 有 的 socket fd 和 libcurl 对 Web 
服务 器 友 起 TCP 连 接 的 fd, 恰好 相等 ， 即 fdi == fd, 。 原 因 古 POSIX 操 作 


系统 总 是 选用 当前 最 小 可 用 的 文件 摘 述 符 ， 当 DNS 解析 完成 后 ，libcurl 
内 部 使 用 的 c-ares DNS 会 关闭 fdj ，libcurl 随 后 再 立刻 新 建 一 个 TCP 
socket fd ， 它 有 可 能 恰好 复 用 了 fdi 的 值 。 

但 这 时 libcurl 不 会 认为 文件 描述 符 或 其 关注 的 IO 事件 及 生 了 变化 ， 
也 就 不 会 通知 muduo 去 销毁 并 新 建 Channel 对 象 。 这 种 做 法 与 传统 的 基于 
select(2) 和 poll(2) 的 event loop 配 合 不 会 有 问题 ， 因 为 select(2) 和 poll(2) 是 
上 下 文 无 天 的 ， 每 人 次 都 从 输入 重建 要 天 注 的 文件 摘 述 从 列表 。 但 是 在 与 
epoll(4) 配 合 的 时 候 束 有 问题 了， 天 闭 fdj 会 使 得 epoll 从 关注 列表 (watch 
list) 中 移 除 fd; 的 条 目 ， 新 建 的 同名 fd, 却 没 有 机 会 加 入 IO 事 件 watch 
list， 也 就 不 会 收 到 任何 IO 事件 通知 。 这 个 问题 无 法 在 muduo 内 部 修复 ， 
只 能 修改 上 游 的 程序 库 。 

另外 一 个 问题 是 libcurl 在 通知 muduo 取 消 关 注 某 个 fd 的 时 候 已 经 事 
先 关 闭 了 它 ， 这 将 造成 muduo 调 用 ::epoll_ctl(epollfd_, EPOLL_CTL_DEL, 
fd, NULL) 时 会 返回 错误 ， 因 为 关闭 文件 描述 人 符 已 经 孢 把 它 从 epoll watch 
list 中 除 择 了。 为 了 应 对 这 种 情况 ， 我 不 得 已 更 改 了 EPollPoller::update0) 
的 错误 处 理 ， 放 宽 检 和 碍 。 


7.15.4 ”更 多 


除了 前 面 举 的 几 个 例子 ，muduo 当 然 还 可 以 将 其 他 涉及 网 络 IO 的 库 
融入 其 EventLoop/Channel 框 架 ， 我 能 想到 的 有 : 


libmicrohttpd 一 一 可 网 入 的 HTTP 服 务 器 。 
-libpg 一 一 PostgreSQL 的 官方 客户 闹 库 。 
libdrizzle 一 MySQL 的 非 官 方 客户 端 库 。 
“QuickFIX 一 一 第 用 的 FIX 消 居 库 。 


在 有 其 体 应 用 场景 的 时 候 ， 我 多 半 会 为 之 提供 muduo adapter， 也 欢 
迎 用 户 页 献 有 关 补 丁 。 

另外 一 个 扩展 思路 是 ， 对 每 个 TCP 连 接 创 建 一 个 lua state， 用 muduo 
为 lua 提 供 通 信 机 制 。 然 后 用 lua 来 编 与 业务 馆 辑 ， 这 也 可 以 做 到 在 线 更 
改 逻 辑 而 不 重启 进程 。 就 像 OpenRestyz 和 云 风 的 skynets 那 样 。 这 种 做 
法 还 可 以 利用 coroutine 来 简化 业务 逻辑 的 实现 。 











注 冬 
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7 ”我 用 Java 实 现 了 压力 测试 ， 代 码 位 于 examples/filetransfer/loadtest 。 
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42 
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44 http://www. i ru/mjt/udns.html 

45 ”stub 的 意思 是 只 会 查询 一 个 DNS 服 务 嚣 ， 而 不 会 递归 地 (recursive) 碍 询 多 个 DNS 服务 
器 ， 因 此 适合 在 公司 内 网 使 用 Chttp://en Me me A a 2 

46 ”Ubuntu 和 Debian 都 不 包含 UDNS 0.2 软 件 包 ， 因 此 必须 连同 上 次 源码 一 起 友 布 。 

47 http:///www.corpit.ru/mjt/udns/udns.3.html 
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49 功能 也 比 UDNS 强 大 ， 例 如 可 以 读 取 /etc/hosts 。udns::Resolver 的 构造 函数 有 选项 可 茶 


50 ”ares_host_callback() 相 当 于 前 面 UDNS 的 dns_guery_a4() 回 调 。 
51 因为 DNS 解析 时 ， 如 果 UDP 啊 应 发 生 消息 截断 ， 会 改 用 TCP 重 发 请 求 。 
52 http://www.unbound.net/documentation/libunbound.html 
53 也 可 以 访问 FITP 服 务 堪 
54 http://curl.haxx.se/libcurl/c/libcurl-multi.html 
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ares DNS 的 时 候 用 它 执 行 异 步 DNS 解 析 。 
57 http://openresty.org/ 
58 https://github.com/cloudwu/skynet 
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第 8 章 muduo 网 络 库 设 计 与 实现 


本 章 从 零 开 始 逐 步 实 现 一 个 类 似 muduo 的 基于 Reactor 模 式 的 C++ 网 
络 库 ， 大 体 反 映 了 muduo 网 络 相 关 部 分 的 开发 过 程 。 本 章 大 致 分 为 三 
段 ， 为 了 与 代码 匹配 ， 本 章 的 小 节 从 0 开始 编号 。 注 意 本 章 呈 现 的 代码 
与 现在 muduo 的 代码 略 有 出 入 。 


1. 8$88.0 至 $8.3 介 绍 Reactor 模 式 的 现代 C++ 实现 ， 包 括 EventLoop、 
Poller、Channel、TimerQueue、EventLoopThread 等 class; 

2. 88.4 全 88.9 介 绍 基 于 Reactor 的 单线 程 、 非 阻塞 、 并 发 TCP server 
网 络 编程 ， 主 要 介绍 Acceptor、Socket、TcpServer、TcpConnection、 
Buffer 等 class; 

3. 8$88.10 人 至 $8.13 是 提高 扁 ， 介 绍 one loop per thread 的 实现 (用 
EventLoopThreadPool 实 现 多 线程 TcpServer) ，Connector 和 TcpClient 
class， 还 有 用 epoll(4) 蔡 换 poll(2) 作 为 Poller 的 IO multiplexing 机 制 等 。 


本 章 的 代码 位 于 recipes/reactor/ ， 会 直接 使 用 muduo/base 中 的 日 志 、 
线程 等 基础 库 。 


8.0 什么 都 不 做 的 EventLoop 


自 先 定义 EventLoop class 的 基本 接口 : 构造 函数 、 析 构 函 数 、loop0 
成 员 了 函数。 注意 EventLoop 是 个 可 找 见 的， 因此 它 继 承 了 
boost::noncopyable。muduo 中 的 大 多 数 class 都 是 不 可 拷贝 的 ， 因 此 以 后 
只 会 强调 某 个 class 是 可 找 贝 的 。 


reactor/sUD/EventLoop.h 
15 ClLass EventLoop : boost::noncopyable 
17 { 
18 public: 
19 
20 EventLoop( ) ; 
21 ~EventLoop(); 


23 void loop():; 


24 
25 vold assertTInLoopThreaoct ) 

26 { 

27 if C!isInLoopThread()) 

28 { 

29 abortNotInLoopThread(): 

30 } 

31 } 

32 

33 bool isInLoopThread() const { return threadId_ == CuyurrentTiThread::tid(); } 
34 

35 private: 

36 

37 void abortNotInLoopThread( 7) ; 

38 


39 bool looping_: /x*x atomic */ 
40 const pid_t threadlId_.; 
41 }:; 
reactor/s00/EventLoop.h 


one loop per thread 顾 名 思 义 每 个 线程 只 能 有 一 个 EventLoop 对 象 ， 
此 EventLoop 的 构造 函数 会 检查 当前 线程 是 否 已 经 创建 了 其 他 EventLoop 
对 象 ， 遇 到 错误 就 终止 程序 (LOG_FATAL)。EventLoop 的 构造 函数 会 
记 住 本 对 象 所 属 的 线程 〈threadId_) 。 创 建 了 EventLoop 对 象 的 线程 是 
IO 线程 ， 其 主要 功能 是 运行 事件 循环 EventLoop:: loop()。EventLoop 对 象 
的 生命 期 通 昔 和 其 所 属 的 线程 一 样 长 ， 它 不 必 是 heap 对 象 。 


reactors00/EventLoop.CC 
17 _ thread EventLoopx t_looplnThisThread = 吕 ; 


19 EventLoop::EventLoopfy 


20 : loopine_(false), 
21 threadId_(CurrentThread: :tid()) 
22 十 


23 LOG_TRACE << "EventLoop created ”<< this << " in thread ”<< threadId _ ， 
24 if (t_loopInThisThread) 


25 { 

26 LOG_FATAL << “Another EventLoop " << t_looplInThisThread 
27 << ”exists in this thread ”<< threadId_.; 
28 } 

29 else 

30 { 

31 t_ oopInThisThread = this: 

32 } 

33 } 

34 

35 EventLoop::~EventLoop() 

36 1 


37 / assert(!looping_): 
38 t_loopInThisThread = NULL: 


reactor/s00/EventLoop.cc 


既然 每 个 线程 至 多 有 一 个 EventLoop 对 象 ， 那 么 我 们 让 EventLoop 的 
static 成 员 函 数 getEventLoopOfCurrentThreadO 返 回 这 个 对 象 。 返 回 值 可 
能 为 NULL， 如 条 当前 线程 不 是 IO 线程 的 话 。《〈 这 个 函数 是 muduo 后 来 
新 加 的 ， 因 此 前 面 头 文件 中 没有 它 的 原型 。 ) 


muduo/net/EventLoop.cc 
EventLoop* EventLoop::getEventLoopofCurrentTihreadd) 
{ 
return t_loopInThisThread:; 
J 
muduo/net/EventLoop.cc 


muduo 的 接口 设计 会 明确 哪些 成 员 函 数 是 线程 安全 的 ， 可 以 路 线程 
调用 ;哪些 成 员 函 数 只 能 在 未 个 特定 线程 调用 〈 主 要 是 IO 线程 ) 。 为 了 
能 在 运行 时 检查 这 些 pre-condition，EventLoop 提 供 了 isInLoopThreadO 和 
assertInLoopThread0 等 函数 〈EventLoop.hL25~L33) ， 其 中 用 到 的 
EventLoop::abortNotInLoopThreadO 孙 数 的 定义 从 上 略 。 

事件 循环 必须 在 IO 线程 执行 ， 因 此 EventLoop::loopO 会 检查 这 一 pre- 
condition 〈L44) 。 本 市 的 loop(0) 什 么 事 痢 不 做 ， 等 5 秒 束 退出 。 


reactor/s0U/EventLoop.cc 
41 void EventLoop::1o0p() 
42 二 
43 assert(!looping_): 
4 assertInLoopThread(y ; 


45 looping_ = true; 

46 

47 : :poll (NULL, @, 5*1000); 
48 


49 LOG_TRACE << “EventLoop ”<< this << " stop looping": 
50 looping_ = false: 


reactor/s00/EventLoop.cc 


为 了 验证 现 有 的 功能 ， 我 编写 了 s00/testl.cc 和 s00/test2.cc 。 其 中 
test1.cc 会 在 主线 程 和 子 线程 分 别 创建 一 个 EventLoop， 程 序 正 常 运行 退 


O 〇 


reactor/sUU/test1.CC 

5 Void threadFunc() 
Sf 
了 printf("threadFunc(}): pid = %d, tid = %d\n”, 
8 getpid(), muduo: :CurrentThread: :tid()); 
9 
10 muduo: :EventLoop loop; 
11 loop. loop():; 
2 i 
13 
14 int main() 
15: 汽 
16 printf("main(): pid = %d, tid = %d\n", 
17 getpid()}, muduo: :CurrentThread: :tid()): 
18 
19 muduo: :EventLoop loop:; 
20 
21 muduo: :Thread thread(threadFunc): 
22 thread. start(): 
23 
24 loop. loop(): 
25 pthread_exit (NULL):; 
26 1} 

reactor/s00/testl.cc 


test2.cc 是 个 负面 测试 ， 它 在 主线 程 创建 了 EventLoop 对 象 ， 却 试图 
在 另 一 个 线程 调用 其 EventLoop::loopO0， 程 序 会 因 断 言 失效 而 异常 终 
止 。 练 习 : 与 一 个 负面 测试 ， 在 主线 程 创 建 两 个 EventLoop 对 象 ， 验 证 
程序 会 异 香 终止。 


reactor/'s00/test2 .ce 
4 muduo: :EventLoop* g_loop:; 


6 void threadFunc() 

7 并 

8 g_loop->loop(): 
} 


11 int main() 


13 muduo: :EventLoop loop; 

14 g_loop = &loop: 

15 muduo: :Thread t(threadFunc); 
16 t.start().; 

17 t. ]onty ; 


reactor/'s00/test? .cc 


8.1 Reactor 的 关键 结构 


本 节 讲 Reactor 取 核心 的 事件 分 友 机 制 ， 即 将 IO multiplexing 拿 到 的 
IO 事件 分 发 给 各 个 文件 描述 符 〈fd) 的 事件 处 理 函 数 。 


8.1.1 Channel class 


Channel class 的 功能 有 一 点 类 似 Java NIO 的 SelectableChannel 和 
SelectionKey 的 组 合 。 每 个 Channel 对 象 目 始 至 终 只 属于 一 个 EventLoop， 
此 每 个 Channel 对 象 都 只 属于 某 一 个 IO 线程 。 每 个 Channel 对 象 目 始 至 
终 只 负责 一 个 文件 描述 符 (fd) 的 IO 事件 分 发 ， 但 它 并 不 拥有 这 个 fd， 
也 不 会 在 析 构 的 时 候 关 闭 这 个 fd。Channel 会 把 不 同 的 IO 事 件 分 发 为 不 
同 的 回调 ， 例 如 ReadCallback、WriteCallback 等 ， 而 且 “ 回 调 * 用 
boost'::function 表 示 ， 用 户 无 纳 继承 Channel，Channel 不 是 基 类 。muduo 
用 户 一 般 不 直接 使 用 Channel， 而 会 使 用 更 上 层 的 封装 ， 如 
TcpConnection。Channel 的 生命 期 由 其 owner class 负 责 管理 ， 它 一 般 征 其 
他 class 的 直接 或 间接 成 员 。 以 下 是 Channel 有 的 public interface: 


reactor/s01/Channel.h 
17 class EventLoop: 
18 
19 A 
20 /A// A selectable I7O channel. 
21 Vi 
22 J/// This class doesn t own the file descriptor. 
23 /i// The file descriptor could be a socket, 
24 /// an eventfd, a timerfd, or a signalfd 
25 class Channel : boost::noncopyable 


26 { 

27 public: 

28 typedef boost: :function<void()> EventCallback: 
2 9 

30 channel(EventLoop* loop, int fd); 

31 


32 vold handleEvent(): 

33 void setReadcallback(const EventCallback& cb) 
34  { readcallback_ = cb; } 

35 void setWriteCcallback(const EventCallback& cb) 
36 { writecallback_ = cb:; } 

37 void setErrorcallback(const Eventcallback& cb) 
38 { errorCallback_ = cb; } 


39 
40 Int fd() const { return fd_:; } 

41 int events() const { return events_; } 

42 VOld Set_revents(t Int revt) { revents_ = revt; } 

43 bool isNoneEvent() const { return events_ == kNoneEvent: } 

44 

45 void enableReading(y { events_ |= kReadEvent; update(); } 

46 上 /void enableWriting() { events_ |= kWriteEvent: update(}:; } 


47 上 void disableWriting() { events_ &= ~kWriteEvent; update(): } 
48 A7 void disableAll(}) { events_ = kNoneEvent: update(}); } 


49 

50 上 /7 for Poller 

51 int index() { return index_; } 

52 vold set_index(int idx) { index_ = ldx; } 
53 


54 EventLoop* ownerLoop() { return loop_; } 
reactor/sQ1/Channel.h 


有 些 成 员 冰 数 是 内 部 使 用 的 ， 用 户 一 般 只 用 set*Callback() 和 和 
enableReading0O) 这 几 个 疯 数 。 其 中 有 些 函 数目 前 还 用 不 到 ， 因 此 暂时 注 
释 起 来 。Channel 的 成 员 函 数 都 只 能 在 IO 线程 调用 ， 因 此 更 新 数据 成 员 
祁 不 必 加 锁 。 

以 下 是 Channel class 的 数据 成 员 。 其 中 events_ 是 它 关 心 的 IO 事件 ， 
由 用 户 设置 ， revents 是 目前 活动 的 事件 ， 由 EventLoop/Poller 设 置 ， 这 
两 个 字段 都 是 bit pattern， 它 们 的 名 字 来 和 目 poll(2) 的 struct pollfd。 


reactor/s01/Channel.h 
56 private: 
57 void Updater ) ; 


58 

59 static const int kNoneEvent: 
60 static const int KReadEvent; 
61 static const int kWriteEvent.: 
62 

63 EventLoop* loop_: 

64 const int fd_. 

65 int events_: 

66 1nt revents_: 

67 int index_; // used by Poller. 
68 


69 EventCcallback readCallback_; 
70 EventCallback writecallback_: 
71 EventCallback errorCcallback_. 
六 并 
reactor/s01/Channel.h 


注意 到 Channelh 没有 包含 任何 POSIX 头 文件 ， 因 此 kReadEvent 和 


kWriteEvent 等 第 量 的 定义 要 放 到 Channelcc 中 。 


reactorsb1ALhannelcc 
18 const int Channel::kNoneEvent = 
19 Const int Channel::kReadEvent = 
20 const int Channel: :kWriteEvent = 


9; 
POLLIN | POLLPRI: 
POLLOUT: 


22 Channel::Channel {EventLoop* loop, int fdArg) 


23 : loop_(loop), 

24 fd_(fdAreg), 

25 events_(@), 

26 revents_(0), 

27 ijndex_(-1) 

28 革 

29 } 

30 

31 void Channel::update() 
32 { 

33 loop_->updateChannel(this): 
34 } 


reactor/sQ1/Channel.cc 


Channel::update() 会 调用 EventLoop::updateChannel()， 后 者 会 转 而 调 
用 Poller::updateChannel()。 由 于 Channel.h 没有 包含 EventLoop.h ， 因 此 
Channel::update() 必 须 定义 在 Channel.cc 中 。 

Channel::handleEventO 是 Channel 的 核心 ， 它 由 EventLoop::loopO 调 
用 ， 写 的 功能 是 根据 revents_ 的 值 分 别 调用 不 同 的 用 户 回调 。 这 个 函数 
以 后 还 会 扩充 。 


36 void Channel: :handleEventT 


37 { 

38 if (revents_ & POLLNVAL) { 

39 LOG_WARN << “Channel::handle_event() POLLNVAL ， 
40 


41 
42 If (revents_ & (POLLERR | POLLNVALY) { 


43 if Cerrorcallback_) errorCcallback_(): 

4 } 

45 if (revents_ & (POLLIN | POLLPRI | POLLRDHUPYY { 
46 if (readCcallback_Y readCallback_(): 

47 } 

48 if (revents_ & POLLQOUTY { 

49 lf (writeCallback_) writeCcallback_(): 

50 } 

51 } 


8.1.2 Poller class 


reactor/s01/Channel.cc 


reactor/s01/Channel.cc 


Poller class 古 IO multiplexing 的 封装 。 它 现在 是 个 具体 类 ， 而 在 
muduo 中 是 个 抽象 基 类 ， 因 为 muduo 同 时 支持 poll(2) 和 epoll(4) 两 种 IO 
multiplexing 机 制 。Poller 是 EventLoop 的 间接 成 员 ， 只 供 其 owner 
EventLoop 在 IO 线程 调用 ， 因 此 无 须 加 锁 。 其 生命 期 与 EventLoop 相 等 。 


Poller 并 不 拥有 Channel，Channel 在 析 构 之 前 必须 自己 


unregister (EventLoop::removeChannel0 ) ， 避 免 空 巧 指针 。 


17 
18 
19 
2 
21 
过 过 
23 
2 
25 
26 
27 
28 
29 
30 
31 
32 
33 
34 
35 
36 
要 了 
38 
39 
40 
41 
二 之 
43 
十 二 


reactor/s01/Poller.h 
struct pollfd: 


namespace muduo 


{ 
class Channel: 


i 
/7 IO Multiplexing with poll(2). 
1 
it This class doesn t own the Channel objects. 
class Poller : boost::noncopyable 
{ 
public: 
typedef std::vector<Channel*> ChannelList. 


Poller(EventLoop* loop): 
~Poller(); 


/// Polls the I/Q events. 
Ai/ Must be called in the loop thread. 
Timestamp poll(int timeoutMs, ChannelList* activeChannels): 


/7A Changes the interested I/0 events. 
/i/ Must be called in the loop thread., 


void updateChannel(Channel* channel):; 


void assertlnLoopThread() { ownerLoop_->assertlnLoopThread(); } 


注意 pollerh 并 没有 include <poll.h>， 而 是 自己 前 向 声明 了 struct 


pollfd， 这 不 妨 但 我 们 定义 Vector<struct pollfd> 成 员 。 


Poller 供 EventLoop 调 用 的 函数 目前 有 两 个 ，pollO0 和 


updateChannel()，Poller 暂 时 没有 定义 removeChannel0 成 员 函 数 ， 因 为 前 
儿 市 还 用 不 到 它 。 


以 下 是 Poller class 的 数据 成 员 。 其 中 ChannelMap 是 从 fd 到 Channel* 


的 映射 。Poller::poll0 不 会 在 每 次 调用 poll(2) 之 前 临时 构造 pollfd 数 组 ， 
而 是 把 它 绥 存 起 来 (pollfds_) 。 


46 private: 


47 void fillActiveChannels(int numEvents, 
48 ChannelList* activeChannels) const: 
49 


50 typedef std::vector<struct pollfd> PollFdList; 
51 typedef std::map<int, Channel*> ChannelMap: 


53 EventLoop* ownNnerLoop_; 
54 PollFfdList pollfds_; 
55 ChannelMap channels_: 


reactor/s01/Poller.h 
Poller 的 构造 函数 和 析 构 函数 都 很 简单 ， 因 其 成 员 都 是 标准 库容 
5 


reactor/s01/Poller.cc 
18 Poller::Poller(EventLoop* loop) 
19 : OwnerLoop_(loop) 
20 1 


23 Poller::~Poller() 


reactor/s01/Poller.cc 


Poller::pollO 是 Poller 的 核心 功能 ， 它 调用 poll(2) 获 得 当前 活动 的 IO 
事件 ， 然 后 填充 调用 方 传 入 的 activeChannels， 并 返回 poll(2) return 的 时 
刻 。 这 里 我 们 直接 把 vector<struct pollfd> pollfds_ 作 为 参数 传 给 poll(2)， 
为 C++ 标准 傈 证 std::vector 的 元 系 排 列 跟 数 组 一 样 。L30 中 的 
&*pollfds_.begin() 是 获得 元 素 的 首 地 址 ， 这 个 表达 式 的 类 型 为 
pollfds_*， 符 合 poll(2) 的 要 求 。 (在 C++11 中 可 写 为 pollfds_.data()， 
g++4.4 有 的 STL 也 支持 这 种 写法 。) 


-eactorsl/Pollercc 
27 Timestamp Poller::poll(int timeoutMs, ChannelList* activeChannels) 

28 +{ 

29 /XXX pollfds_ shouldn t change 

30 LInt numEvents = ::pollr&xpollfds_.begin()}, pollfds_.size(), timeoutMs): 

31 Timestamp now(Timestamp: :now( 7) ): 

32 if (numEvents > @) { 


33 LOG_TRACE << numEvents << ”events happended".: 
34 fillActiveCchannels(numEvents, activeChannels):; 
35 } else if (numEvents == @) 二 

36 LOG_TRACE << " nothing happended".: 

37 +} else { 

38 LOG_SYSERR << "Poller: :poll()": 

39 } 

40 return mow; 

41 } 


fillActiveChannels() 表 历 pollfds_， 找 出 有 活动 事件 的 fd， 把 它 对 应 
的 Channel 填 入 activeChannels。 这 个 函数 的 复杂 上 度 是 O(N)， 其 中 NN 是 
pollfds_ 的 长 度 ， 即 文件 摘 述 符 数 目 。 为 了 提前 结束 循环 ， 每 找到 一 个 
活动 fd 就 递减 numEvents， 这 样 当 numEvents 减 为 0 时 表示 活动 fd 都 找 完 
了 ， 不 必 做 无 用 功 。 当 前 活动 事件 revents 会 体 存 在 Channel 中 ， 供 
Channel::handleEvent() 使 用 (L56) 。 

注意 这 里 我 们 不 能 一 边 人 遍历 pollfds_， 一 边 调用 
Channel::handleEventO0， 因 为 后 者 会 谎 加 或 删除 Channel， 从 而 造成 
pollfds 在 过 历 期 间 改 变 大 小 ， 这 和 是非 章 和 危险 的 。 另 外 一 个 原因 是 简化 
Poller 的 职责 ， 它 只 负责 IO multiplexing， 不 负责 事件 分 友 

Cdispatching) 。 这 样 将 来 可 以 方便 地 符 换 为 其 他 更 高 效 的 IO 

multiplexing 机 制 ， 如 epoll(4)。 


43 void Poller::fillActiveChannels(int numEvents, 


44 ChannelList* activeCchannels) const 
45 圭 

46 for (PollFdList::const_iterator pfd = pollfds_.begin(): 

47 pfd I= pollfds_.end() && numEvents > @; ++pfd) 

48 

49 if (pfd->revents > 0) 

50 { 

51 -一 muUmEwvents ， 

52 channelMap::const_iterator ch = channels_.find(pfd->fd): 
53 assert(ch != channels_.end()):; 

54 channel* channel = ch->second; 

55 assert(channel->fd() == pfd->fd): 

56 channel->set_revents(pfd->revents): 

57 /:/ pfd->revents = ©: 

58 activeChannels->push_back(channel). 

59 } 

60 1} 

51 } 


Poller::updateChannel() 的 主要 功能 是 负责 维护 和 更 新 pollfds_ 数组。 
添加 新 Channel 的 复杂 度 是 O(QogN)， 更 新 已 有 的 Channel 的 复杂 度 是 
O(1)， 因 为 Channel 记 住 了 自己 在 pollfds_ 数组 中 的 下 标 ， 因 此 可 以 快速 
定位 。removeChannel() 的 复 林 上 谋 也 将 会 是 O(QogN)。 这 里 用 了 大 量 的 
assert 来 检查 invariant。 


63 Vold Poller::updateChannel(channel* channel) 


64 二 

65 assertInLoopThread()}: 

66 LOG_TRACE << "fd = ”<< channel->fd() << ”events = " << channel->events(); 
67 if 【channelL->indexfy < @) { 

68 /i: a new one, add to pollfds_ 

69 assert(channels_.find(channel->fd()) == channels_,end‘)):; 
70 struct pollfd pfd: 

71 pfd,fd = channel->fd(); 

72 pfd.events = static_cast<short>(channel->events()): 

73 pfd.revents = ©: 

了 4 pollfds_.push_back(pfd)}): 

75 Int idx = statIc_cast<lInt>(pollfgs_ .slzet7)-1; 

76 channel->set_index (1idx): 

77 channels_[pfd.fd] = channel: 

78 else { 

79 /YA Update existing one 

80 assert(channels_.find(tchannel->fd()) != channels_.endON)): 
81 assert{(channels_[channel->fd(})] == channel): 

82 Int idx = channel->index(): 

83 assert(@ <= idx && idx < static_cast<int>(pollfds_.size())): 
84 struct pollfd& pfd = pollfds_[idx]: 

85 assert{pfd.fd == channel->faoty || pfd.,fd == =1}: 

86 pfd.events = static_cast<short>(channel->events()): 

87 pfd.revents = ©@: 

88 if (channe1->1isNoneEventftyy { 

89 /:/! ignore this pollfd 

a0 pfd.fd = - 

91 } 

92 + 

93 } 


reactor/s01/Poller.cc 


男 外 ， 如 果菜 个 Channel 和 暂时 不 关心 任何 事件 ， 束 把 pollfd.fd 设 
为 -1， 让 poll(2) 忽 略 此 项 (L90) !。 这 里 不 能 改 为 把 pollfd.events 设 为 
0， 这 样 无 法 屏 淫 POLLER 事 件 。 Rt fd 设 为 channel- 
9 这 样 可 以 进一步 检查 invariant。 (思考 : 为 什么 要 
减 一 ? ) 


8.1.3 EventLoop 的 改动 


ee class 新 增 了 quit0 成 员 医 函数 ， 还 加 了 几 个 数据 成 员 ， 并 在 
构造 函数 里 初始 化 它们 。 注 症 EventLoop 退 ea a 
Poller， 因 此 EventLoop.h 不 必 包 含 poller.h ， 只 需 前 同志 明 Poller class。 为 
此 ，EventLoop 的 析 构 函数 必须 在 EyentLoop.cc 中 显 式 定义 。 


reactor/s01/EventLoop.h 


56 vo1ld abortNotInLoopThread(); 

57 

58 + typedef std::vector<Channel*> ChannelList:; 
5 十 

60 bool looping_;: /* atomic */ 

61 + bool quit_: /* atomic */ 

62 const pid_t threadId_: 


63 + boost::scoped ptr<Poller> poller_: 
64 + ChannelList activeChannels_: 





- reactor/s01/EventLoop.h 


EventLoop::loopO 有 了 真正 的 工作 内 容 ， 它 调用 Poller::poll() 获 得 当 
前 活动 事件 的 Channel 列 表 ， 然 后 依次 调用 每 个 Channel 的 handleEvent() 
国 数 。 


4 





reactor/s01/EventLoop.cc 
46 Vvoid EventLoop::1oo0p() 


47 { 

48 assert(!looping_); 

49 assertIinLooplhreadc); 

50 looping_ = true; 

51 + quit_ = false: 

52 

53 + While (lqguit_) 

54 十 玉 

55 十 activeChannels_.clear(): 

56 + poller_->poll(kPollTimeMs, &activechannels_): 

57 + for (ChannelList::iterator lt = activeChannels_.begin(); 
58 + it != activeChannels_.end(}): ++it) 

59 + { 

60 十 (x*it)=->handleEventry ; 

61 + } 

62 + 1} 

63 

64 LOG_TRACE << “EventLoop " << this << " stop loopine": 
55 looping_ = false: 


reactor/s01/EventLoop.cc 


以 上 几 个 class 尽 官 简 陋 ， 却 构成 了 Reactor 模 式 的 核心 内 容 。 时 序 图 
见 图 8-1。 
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图 8-1 


我 们 现在 可 以 终止 事件 循环 ， 只 要 将 quit_ 设 为 true 妈 可， 但 是 quit() 
不 是 立刻 发 生 的 ， 它 会 在 EventLoop::loopO 下 一 次 检查 while (!quit_) 的 时 
候 起 效 〈L53) 。 如 果 在 非 当 前 IO 线 程 调用 guit()， 延 迟 可 以 长 达 数 秒 ， 
将 来 我 们 可 以 唤醒 EventLoop 以 缩小 延 时 。 但 是 quitO 不 是 中 断 或 signal， 
而 是 设 标 六 ， 如 果 EventLoop::loopO 正 阻 圭 在 菏 个 调用 中 ，quitO 不 会 芯 
刻 生 效 。 

reactors01/EventLoop.Cc 

68 vold EventLoop: :guit() 


69 |; 
70 quit_ = true; 
71 /Wakeupfry ; 
入 阅 


reactor/s01/EventLoop.cc 
EventLoop::updateChannelO 在 检查 断言 之 后 调用 
Poller::updateChannel()，EventLoop 不 关心 Poller 是 如 何 管理 Channel 列 表 
的 。 


reactor/s01/EventLoop.cc 
74 void EventLoop: :updateChannel(channel* channel) 


75 冯 

76 assert(channel->ownerLoop() == this); 
77 assertInLoopThread(): 

78 poller_->updateChannel(channel); 

9 } 


reactor/s01/EventLoop.cc 


有 了 以 上 的 EventLoop、Poller、Channel， 我 们 写 个 小 程序 简单 地 测 
试 一 下 功能 。s01/test3.cc 用 timerfd 实 现 了 一 个 单 次 触发 的 定时 器 ， 为 
8$8.2 的 内 容 打 下 基础 。 这 个 程序 利用 Channel 将 timerfd 的 readable 事 件 转 
发 给 timeroutO 函 数 。 


reactors0UT/test3.CC 
5 #include <sys/timerfd.h> 
6 
7 muduo::EventLoop* g_loop: 
8 
9 void timeout() 
10 二 
11 printf("Timeout!l\n"): 
12 g_loop->qyuit(): 
13 
14 
15 int main() 
16 二 
17 muduo: :EventLoop 1oop; 
18 pg_loop = &loop: 
19 
20 int timerfd = ::timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK | TFD_CLOEXECY:; 
21 muduo: :Channel channel(&loop, timerfd): 
2 channel.setReadCallback(timeout): 
23 channel .enableReading(): 
24 
25 struct itimerspec howloneg: 
26 bzerot&howlong, slilzeof howlong):; 
27 howlong .it_value.tv_sec = 5; 
28 : :timerfd_settime(timerfd, 8@, &howlong, NULL): 
29 
30 loop. loop(); 
31 
32 : :Close(timerfd). 
33 } 
reactor/s01/test$.cc 


由 于 poll(2) 是 level trigger， 在 timeout() 中 应 该 read() timefd， 人 否则 下 
次 会 立刻 触发 。 在 现 阶段 采用 level trigger 的 好 处 之 一 是 可 以 通过 strace 命 
令 直 观 地 看 到 每 次 poll(2) 的 参数 列表 ， 容 多 检查 程序 的 行为 。 


8.2 TimerQueue 和 定时 虎 


有 了 前 面 的 Reactor 基 础 ， 我 们 可 以 给 EventLoop 加 上 定时 套 功 能 。 
传统 的 Reactor 通 过 控制 select(2) 和 poll(2) 的 等 待 时 间 来 实现 定时 ， 而 现 
在 在 Linux 中 有 了 timerfd， 我 们 可 以 用 和 处 理 IO 事 件 相同 的 方式 来 处 理 
定时 ， 代 码 的 一 致 性 更 好 。muduo 中 的 backport.diff 展示 了 传统 方案 。 


8.2.1 TimerQueue class 


muduo 的 定时 器 功能 由 三 个 Class 实现，TimerId、Timer、 
TimerQueue， 用 户 只 能 看 到 第 一 个 qlass， 另 外 两 个 都 是 内 部 实现 细节 。 
TimerId 和 Timer 的 实现 很 价 蛙 ， 这 里 束 不 展示 源 公 了 了。 

TimerQueue 的 接口 很 简单 ， 只 有 了 两 个 函数 addTimer0 和 cancel0。 本 
节 我 们 只 实现 addTimer()，cancelO 的 实现 见 此 处 。addTimerO 是 供 
EventLoop 使 用 的 ，EventLoop 会 把 它 封 装 为 更 好 用 的 runAt()、 
runAfter()、runEvery(0 等 函数 。 

reactor/s02/ TimerQueue.h 

28 ii 
29 /A/// A best efforts timer gqueue. 
30 /A// No guarantee that the callback will be on time. 


31 /i 
32 class TimerQueue : boost: :noncopyable 


34 public: 

35 TimerQueue(EventLoop* loop): 

36 ~TimerQueue(): 

37 

38 A 

39 1// Schedules the callback to be run at given time, 
40 /i repeats if @c interval > 606.0. 

41 ii 


42 7/ Must be thread safe. Usually be called from other threads. 
43 TimerId addTimer(const TimerCallback& cb, 


44 Timestamp when, 
45 double interval): 
46 

47 YA Volid cancel(Timerld timerld); 


值得 一 提 的 是 TimerQueue 的 数据 结构 的 选择 ，TimerQueue 需 要 局 效 
地 组 织 目 前 疝 未 到 期 的 Timer， 能 快速 地 根据 当前 时 间 找 到 已 经 到 期 的 
Timer， 也 要 能 高 效 地 添加 和 删除 Timer。 最 简单 的 TimerQueue 以 按 到 期 
时 间 排 好 序 的 线性 表 为 数据 结构 ，muduo 最 早 也 是 用 这 种 结构 。 这 种 结 


构 的 利用 操作 都 是 线性 查找 ， 复 杂 上 度 是 O(N)。 

羽 一 种 第 用 做 法 是 二 又 堆 组 织 优先 队列 〈libev 用 的 是 更 高 效 的 4- 
heap) ， 这 种 做 法 的 复杂 上 度 降 为 OogN)， 但 是 C++ 标准 库 的 
make_heap0 等 范 数 不 能 高 效 地 删除 heap 中 国 的 某 个 元 际 ， 需 要 我 们 目 己 
实现 〈 令 Timer 记 住 目 己 在 heap 中 的 位 置 ) 。 

还 有 一 种 做 法 是 使 用 二 又 搜索 树 〈 例 如 std::set/std::map) ， 把 Timer 
按 到 期 时 间 移 后 排 好 序 。 操 作 的 复杂 上 度 仍然 是 Od4ogN)， 不 过 memory 
locality 比 heap 要 差 一 些 ， 实 际 速 度 可 能 略 慢 。 但 是 我 们 不 能 直接 用 
map<Timestamp, Timer*>， 因 为 这 样 无 法 处 理 两 个 Timer 到 期 时 间 相 同 
的 情况 。 有 两 个 解决 方案 ， 一 是 用 multimap 或 multiset， 二 是 设法 区 分 
key。muduo 现 在 采用 的 是 第 二 种 做 法 ， 这 样 可 以 避免 使 用 不 常见 有 的 
multimap class。 有 具体 来 说 ， 以 pair<Timestamp, Timer*> 为 key， 这 样 即 便 
两 个 Timer 的 到 期 时 间 相 同 ， 它 们 的 地 址 也 必定 不 同 。 

以 下 是 TimerQueue 的 数据 成 员 ， 这 个 结构 利用 了 现成 的 容 夫 库 ， 实 
现 答 单 ， 容 易 验 证 其 正确 性 ， 并 且 性 能 也 不 错 。TimerList 是 set 而 非 
map， 因 为 只 有 key 疫 有 value。TimerQueue 使 用 了 一 个 Channel 来 观察 
timerfd 上 的 readable 事 件 。 注 意 TimerQueue 的 成 员 函 数 只 能 在 其 所 属 的 
IO 线程 调用 ， 因 此 不 必 加 锁 。 

51 i:/ FIXME: Use unique_ptr<Timer> instead of raw polnters， 


52 typedef std::pair<Timestamp, Timer*> Entry; 
53 typedef std::set<Entry> TimerList， 


55 /:/: called when timerfd alarms 

56 vold handleRead(): 

57 1/ move out all expired timers 

58 std: :vector<Entry> getExpired(Timestamp now): 

59 vold reset(const std::vector<Entry>& expired, Timestamp Now):; 
60 

61 bool insert(Timer* timer): 


63 EventLoop* loop_: 
64 const int timerfd_: 
65 channel timerfdChannel_: 


56 /:/ Timer list sorted by expiration 
67 TimerList timers_: 
68 }; 


reactor/s02/TimerQueue.h 


TimerQueue 的 实现 目前 有 一 个 不 理想 的 地 方 ，Timer 是 用 裸 指针 管 
理 的 ， 需 要 手动 delete。 这 里 用 shared_ptr 似 乎 有 点 小 题 大 做 了 。 在 
C++11 中 ， 或 许可 以 改进 为 unique_ptr， 避 免 手 动 管理 资源 。 

来 看 关键 的 getExpired0 函 数 的 实现 ， 这 个 函数 会 从 timers_ 中 移 除 已 
到 期 的 Timer， 并 通过 vector 返 回 它 们 。 编 诺 右 会 实施 RVO 人 优化， 不 必 太 


人 性 能 ， 必 要 时 可 以 像 EventLoop::activeChannels_ 那样 复 用 vector。 注 
古 其 中 哨兵 什 (sentry) 的 选取 ， sentry 让 set::lower_bound() 人 返回 的 是 第 
一 个 未 到 期 的 Timer 的 从 代 嚣 ， 因 此 L145 的 断言 中 是 < 而 非 <。 


了 3 晶 
141 
142 
143 
144 
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148 
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150 


reactor/sQ2/TimerQueue.cc 


std: :vector<TimerQueue: :Entry> TimerQueue: :getExpired(lTimestamp now) 


{ 


std: :vector<Entry> expired: 

Entry sentry = std::make_pair(now, reinterpret_cast<Timer*>(UINTPTR_MAX)): 
TimerList::iterator it = timers_.lower_bound(sentry): 

assert(it == timers_.endO) || now < it->first): 

std::copy(timers_.begin(), it, back_inserter (expired)):; 
timers_.erase(timers_.begin()}, it): 


return explred: 


reactor/s02/TimerQUueue.cc 


图 8-2 是 TimerQueue 回 调用 机 代码 onTimer() 的 时 序 图 。 
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图 8-2 


8.2.2 ”EventLoop 的 改动 


EventLoop 新 增 了 几 个 方便 用 户 使 用 的 定时 娠 接口 ， 这 几 个 函数 都 


转 而 调用 TimerQueue::addTimerO0。 注 意 这 几 个 EventLoop 成 员 函 数 应 访 
允许 跨 线 程 使 用 ， 比 方 说 我 想 在 某 个 IO 线程 中 执行 超时 回调 。 这 就 带 来 


线程 安全 性 方面 的 问题 ，muduo 的 解决 办 法 不 是 加 锁 ， 而 是 把 对 
TimerQueue 的 操作 转移 到 IO 线程 来 进行 ， 这 会 用 到 8$8.3 介 绍 的 
PEventLoop::runInLoopO 枉 数 。 


一 reador/s0i/EventLoop.cc 
76 TimerId EventLoop: :runAt(const Timestamp& time, const TimerCallback& cb) 

77 于 

78 return timerQueue_->addTimer(cb, time, 6@.0): 

79 } 


sl TimerId EventLoop::runAfter(double delay, const TimerCcallback& cb) 
B82 二 

83 Timestamp time(addTime(Timestamp: :now(), delay)); 

84 return runAt(time, cb); 

85 } 


87 TimerId EventLoop: :runEvery(double interval, const Timercallback& cb) 
88 1{ 
89 Timestamp time(addTime(Timestamp: :now(), interval)): 
90 return tiImerQueue_->addTImerktcb，time，1Lnterval)， 
91 } 
reactor/s02/EventLoop.cc 


测试 代码 见 s02/test4.cc ， 这 与 muduo 正 式 的 用 法 完全 一 样 。 
8.3 ”EventLoop::runInLoop(0) 隶 数 


EventLoop 有 一 个 非常 有 用 的 功能 : 在 它 的 IO 线程 内 执行 未 个 用 户 
任务 回调 ， 即 EventLoop::runInLoop(const Functor& cb)， 其 中 Functor 是 
boost::function<void0>。 如 采用 户 在 当前 IO 线程 调用 这 个 函数 ， 回 调 会 
同步 进行 ， 如 果 用 户 在 其 他 线程 调用 runInLoop()，cb 会 被 加 入 队列 ，IO 
线程 会 被 唤醒 来 调用 这 个 Functor。 


reactor/s0 3/EventLoop.cc 
volid EventLoop: :runInLooptconst Functoré& cb) 
{ 
If (isInLoopThread()) 二 
cb(); 
} else { 
queueInLoop(cb): 
} 
} 
reactor/s0 3/EventLoop.cc 


有 了 这 个 功能 ， 我 们 就 能 轻易 地 在 线程 间 调 配 任务 ， 比 方 说 把 
TimerQueue 的 成 员 函 数 调用 移 到 其 IO 线程 ， 这 样 可 以 在 不 用 锁 的 情况 下 


保证 线程 安全 性 。 

由 于 IO 线程 平时 阻塞 在 事件 循环 EventLoop::loopO 的 poll(2) 调 用 
中 ， 为 了 让 IO 线程 能 立刻 执行 用 户 加 调 ， 我 们 需要 设法 唤醒 它 。 传 统 的 
办 法 是 用 pipe(2)，IO 线 程 始 终 监 视 此 管道 的 readable 事 件 ， 在 需要 唤醒 
的 时 候 ， 其 他 线程 往 管 道里 写 一 个 字 节 ， 这 样 IO 线 程 束 从 IO 
multiplexing 阻 奢 调 用 中 返回 。“《 原 理 关 似 HITP long polling。) 现在 
Linux 有 了 eventfd(2)， 可 以 更 高 效 地 唤醒 ， 因 为 它 不 必 管 理 缓冲 区 。 以 
下 是 EventLoop 新 增 的 成 员 。 


reactor/s0 /EventLoop.h 


96 private: 
97 
98 void abortNotInLoopThreadfDy ; 


99 + woid handleRead(): // waked up 
100 + void doPendingFunctors(): 


102 typedef std: :vector<Cchannel*> ChannelList: 
103 

104 bool looping_; /* atomic */ 

105 bool quit_; /*x atomic */ 

106 + bool ee amd a : /x* atomic */ 
107 const pid_t threadId _ 

108 Timestamp 的 LE 

109 boost::scoped_ptr<Poller> poller_: 

110 boost::scoped_ptr<TimerQueue> timerQUueue._; 
lil + int wakeupFd_; 

112 + // unlike In TimerQueue, which 1s an internal class, 
113 + // we don't expose Channel to client. 

114 + boost::scoped_ptr<Channel> wakeupChannel_; 


115 ChannelList activeChannels_:; 
116 + MutexLock mutex_: 
117 + std::vector<Functor> pendingFunctors_; // @BuardedBy mutex_ 


reactor/s0 3/EventLoop.h 


wakeupChannel 用 于 多 于 WakeupFd_ 二 的 readable 事 件 ， 将 事件 分 友 
至 handleRead() 函 数 。 其 中 只 有 pendingFunctors_ 暴露 给 了 其 他 线程 ， 
此 用 mnutex 保 护 。 
queueInLoopO0 的 实现 很 简单 ， 将 cb 放 入 队列 ， 并 在 必要 时 噬 醒 IO 线 


reactor/s0 /EventLoop.cc 
114 Volg EventLoop: :queueInLoop(const Functor& cb) 
115 荆 
116 { 
117 MutexLockGuard lock(mutex_); 
118 pendingFunctors_.,push_back(cb), 
119 } 


121 if (lisInLoopThread() || callingePendingFunctors_) 
122 
123 wakeupC): 
125 1} 
reactor/s03/EventLoop.cc 
“必要 时 ”有 两 种 情况 ， 如 果 调 用 queueInLoop0 的 线程 不 是 IO 线 程 ， 
那么 唤醒 是 必需 的 ;如 末 在 IO 线程 调用 queueInLoopO， 而 此 时 正在 调用 
pending functor， 那 么 也 必须 唤醒 。 换 句 话 说 ， 只 有 在 IO 线程 的 事件 回 
调 中 调用 queueInLoopO 才 无 织 wakeupO。 看 了 下 面 doPendingFunctors) 
的 调用 时 间 点 ， 想 必 读 者 就 能 明白 为 什么 。 
此 处 的 事件 循环 EventLoop::loopO 中 需要 增加 一 行 代码 ， 执 行 
pendingFunctors_ 中 的 任务 回调 。 


reactor/s0 3/EventLoop.cc 


77 while (lquit_) 

78 { 

79 activeChannels_.clear(): 

80 pollReturnTime_ = poller_->poll(kPollTimeMs, &activeChannels_); 
81 for {ChannelList::iterator lt = activeChannels_.begin(): 
82 it != activeChannels_.end(};: ++it) 

83 { 

84 (x¥1t)->handleEventO): 

85 

86 十 doPendingFunctorsfr ) ; 

87 4 


reactor/s03/EventLoop.cc 


EventLoop::doPendingFunctors0) 不 是 简单 地 在 临界 区 内 依次 调用 
Functor， 而 是 把 回调 列表 swapO 到 局 部 变量 functors 中 ， 这 样 一 方面 减 小 
了 I 临 界 区 的 长 上 度 〈 和 意味 看 不 会 阻 豆 其 他 线程 调用 queueInLoopO) ， 为 一 
方面 也 避免 了 死 锁 〈 因 为 Functor 可 能 再 调用 queueInLoopO ) 。 





reactor/s0 3/EventLoop.cc 
178 vold EventLoop: :doPendingFunctors() 


179 革 

180 std: :vector<Functor> functors: 
181 callingPendingFunctors_ = true; 
182 

183 { 

184 MutexLockGuard lock(mutex_); 

185 functors. swap({pendingFunctors_):; 
186 } 

187 

188 for (size_t i = @: i < functors.size(); ++i) 
189 

190 functors[1](C): 

191 

192 callingPendingFunctors_ = false; 
193 1} 


reactor/s03/EventLoop.cc 


由 于 doPendingFunctorsO 调 用 的 Functor 可 能 再 调用 
queueInLoop(cb)， 这 时 queueInLoopO 就 必须 wakeupO0， 人 否则 这 些 新 加 的 
cb 就 不 能 被 及 时 调用 了 。muduo 这 里 没有 反复 执行 doPendingFunctors(O) 直 
全 jpendingFunctors_ 为 空 ， 这 是 有 章 的 ， 任 则 IO 线 程 有 可 能 陷入 死 循 
环 ， 无 法 处 理 IO 事 件 。 

剩 下 的 事情 就 简单 了 ， 在 EventLoop::quitO 中 增加 几 行 代码 ， 在 必 
要 时 吃 醒 IO 线程 ， 让 和 它 及 时 终止 循环 。 思 和 若 : 为 什么 在 IO 线程 调用 
quitO 葡 不必 wakeupO0)? 

reactor/s0 /EventLoop.cc 
93 void EventLoop: :quit() 


a4 { 

95 quit_ = true; 

96 + if (lisInLoopThread)) 
97 + 

98 + wakeup():; 

99 + 

100  } 


reactor/s03/EventLoop.cc 


EventLoop::wakeupO0 和 EventLoop::handleRead0 分 别 对 wakeupFd_ 与 
入 数据 和 读 出 数据 ， 代 但 从 略 。 注 意 muduo 不 古 在 
EventLoop::handleRead() 中 执行 doPendingFunctors()， 理 由 见 
http://blog.csdn.net/solstice/article/detalls/61/1831#comments 。 
和 是 单线 程 程序 ， 训 试 了 runInLoopO0 和 queueInLoopO 等 新 


8.3.1 ”提高 TimerQueue 的 线程 安全 性 


前 面 提 到 TimerQueue::addTimerO 只 能 在 IO 线程 调用 ， 因 此 
EventLoop::runAfterO 系 列 图 数 不 是 线程 安全 的 。 下 面 这 段 代 但 在 88.2 中 
会 crash， 因 为 它 在 非 IO 线程 调用 了 EventLoop::runAfterO)。 


muduo: :EventLoop* g_loop: 
void print() { 了 // 空 函 数 


void threadFuncr 
pg_loop->runAfter(t1.8, printy: 
J 


int maint) 

{ 
muduo: :EventLoop loop: 
g_loop = &loop: 
muduo: : Thread t(threadFunc): 
t.start(): 
loop.l1o0p():; 


运行 结 
20120901 @1:36:26.9854732 17897 FATAL EventLoop::abortNotInLoopThread - 
EventLoop Ox7fff892d187@ was created in threadId_ = 17896, 


current thread id = 17897 - EventLoop.cc:182 
Aborted (core dumped) 


信 助 EventLoop::runInLoopO， 我 们 可 以 很 容易 地 将 
TimerQueue::addTimerO 做 成 线程 安全 的 ， 而 且 无 顷 用 锁 。 办 法 是 让 
addTimerO 调 用 runInLoopO， 把 实际 工作 转移 到 IO 线程 来 做 。 先 新 增 一 
个 addTimerInLoop0O 成 员 函 数 : 


reactor/s03/TimerQueue.h 
52 typedef std::pair<Timestamp, Timer*> Entry: 
53 typedef std::set<Entry> TimerList. 
54 
55 + vold addTimerIinLoop(tTimer* timer):; 
56 /called when timerfd alarms 
57 volid handleRead(); 


reactor/s03/TimerQueue.h 


然后 把 addTimer0 拆 成 两 部 分 ， 拆 分 后 的 addTimerO 只 负责 转发 ， 
addTimerInLoopO 完 成 修改 定时 器 列表 的 工作 。 


reactors03ATimerOueue.cc 
107 TimerId TimerQueuye: :addTimertconst TimerCallback& cb ， 


108 Timestamp when, 

109 double interval) 

110 { 

111 Timer* timer = new Timer(cb, when, interval).; 

112 + loop_->runInLoopt 

113 + boost::bind(&TimerQueue: :addTimerInLoop, this, timer)):; 
114 + return Timerld(timer):; 

115 +} 


117 +Void TimerQueuye: :addTimerInLoop(Timer* timer) 


118 +{ 

119 1oop_->assertInLoopThreadfry ; 

120 bool earliestChanged = insert(timer):; 

121 

122 if (earliestChanged) 

123 { 

124 resetTImerfdttimerfd_ ，tlmer->explratiIon( yy ; 
125 1 

126 - return TimerId(timer). 

127 ,1} 


reactor/s03/TimerQueve.cc 


这 样 无 论 在 哪个 线程 调用 addTimer0 都 是 安全 的 了 ， 上 方 的 代码 也 
能 正章 运行 。 


8.3.2 EventLoopThread class 


IO 线程 不 一 定 是 主线 程 ， 我 们 可 以 在 任何 一 个 线程 创建 并 运行 
EventLoop。 一 个 程序 也 可 以 有 不 止 一 个 IO 线程 ， 我 们 可 以 按 优先 级 将 
不 同 的 socket 分 给 不 同 的 10 线程， 避免 优先 级 反 转 。 为 了 方便 将 来 使 
用 ， 我 们 定义 EventLoopThread class， 这 正 是 one loop per thread 的 本 


动 目 己 的 线程 ， 并 在 其 中 运 
EventLoop::loop()。 其 中 关键 的 siartLoon 站 丽 数 定义 如 下 ， 这 个 函数 会 返 
Sa 因此 用 条 件 变 量 来 等 竺 线程 的 创建 
es 


reactor/s0 3/EventLoopThread.cc 
32 EventLoop* EventLoopTlhread::startLoop() 


34 assert(!lthread_.started()): 
35 threaad_ .startt ) : 


36 

37 

38 MutexLockGuard lock(mutex_): 
39 while (loop_ == NULL) 
40 { 

41 cond_ .wait(): 

42 } 

43 } 

44 

45 return Loop_; 

46 } 


reactor/s0 3/EventLoopThread.cc 


线程 主 函 数 在 stack 上 定义 EventLoop 对 象 ， 然 后 将 其 地 址 赋值 给 
loop_ 成 员 变 量 ， 最 后 notifyO 条 件 变 量 ， 唤 醒 startLoop(0)。 


reactor/s0 3/EventLoopThread.cc 
48 vold EventLoopThread::threadFunc() 
49 二 
50 EventLoop loop:; 


52 

53 MutexLockGuard lock(mutex_): 
54 Joop_ = &loop; 

55 cond_.notify(): 

56 } 

57 


58 loop. loo0p(): 
59 //assert(exiting_); 


reactor/s03/EventLoopThread.cc 


由 于 EventLoop 的 生命 期 与 线程 主 冰 数 的 作用 域 相同 ， 因 此 在 
threadFuncO 退 出 之 后 这 个 指针 束 失 效 了 。 好 在 服务 程序 一 般 不 要 求 能 安 
全 地 退出 《89.2.2) ， 这 应 该 不 是 什么 大 问题 。 

s03/test6.cc 测试 了 EventLoopThread 的 功能 ， 也 测试 了 跨 线 程 调 用 
EventLoop:: runInLoopO 和 EventLoop::runAfter0， 代 码 从 略 。 


8.4 实现 TCP 网 络 库 


到 目前 为 止 ，Reactor 事 件 处 理 框 架 已 初 具 规模 ， 从 本 节 开 始 我 们 用 
它 逐 步 实 现 一 个 非 阻 团 TCP 网 络 编程 库 。 从 poll(2) 返 回 到 再 次 调用 


poll(2) 阻 杜 称 为 一 砍 事件 循环 。 儿 8-3 信 得 印 在 脑 中 ， 它 有 助 于 理解 一 次 
循环 中 各 种 回调 有 友 生 的 顺序 。 


| poll 


i 21 (timers ) 
( functors 一 lOhanders ) 


一 ee 


图 8-3 


传统 的 Reactor 实 现 一 般 会 把 timers 做 成 循环 中 单独 的 一 步 ， 而 
muduo 把 它 和 IO handlers 等 同 视 之 ， 这 是 使 用 timerfd 的 附 市 效应 。 将 来 
有 必要 时 也 可 以 在 调用 IO handlers 之 表 或 之 后 处 理 timers。 

后 面 几 贡 的 内 容 安排 如 下 : 

8$8.4 介 绍 Acceptor class， 用 于 accept(2) 新 连接 。 

8$8.5 介 绍 TcpServer， 处 理 新 建 TcpConnection 。 

8$8.6 处 理 TcpConnection 断 开 和 连接 。 

88.7 介 绍 Buffer class 并 用 它 试 取 数 据 。 

88.8 人 外 绍 如 何 无 阻 奢 安达 数据 。 

8$8.9 完 善 TcpConnection， 处 理 SIGPIPE、TCP keep alive 等 。 

至 此 ， 单 线程 TCP 服 务 端 网 络 编程 已 经 基本 成 型 ， 大 部 分 muduo 示 例 都 
可 以 运行 。 


Acceptor class 


先 定 义 Acceptor class， 用 于 accept(2) 新 TCP 连 接 ， 并 通过 回调 通知 
使 用 者 。 它 是 内 部 class， 供 TcpServer 使 用 ， 生 命 期 由 后 者 控制 。 
Acceptor 的 接口 如 下 : 


reactor/s04/Acceptor.h 
26 Class Acceptor : boost::noncopyable 


27 二 

28 public: 

29 typedef boost: :function<void (int sockfd, 

30 const InetAddress&)> NewCconnectionCallback; 
31 

32 Acceptor(EventLoop* loop, const InetAddress& listenAddr): 

33 

34 vold setNewConnectionCallback{(const NewConnectionCallback& cb) 
35 { newconnectionCcallback_ = cb; } 

36 

37 bool listenning() const { return listenning_;: } 


38 vold listent(): 
reactor/s04/Acceptor.h 


Acceptor 的 数据 成 员 包 括 Socket、Channel 等 。 其 中 Socket 是 一 个 
RAIIhandle， 封 狐 了 socket 文 件 接 述 从 的 生命 期 。Acceptor 的 socket 古 
listening socket， 即 server socket。Channel 用 于 观察 此 socket 上 的 readable 
事件 ， 并 回调 Acceptor: handleRead()， 后 者 会 调用 accept(2) 来 接受 狐 连 
接 ， 并 回调 用 户 callback。 


reactor/s04/Acceptor.h 
40 private: 
41 void handleRead(): 
42 
43 EventLoop* 1 oop_; 
44 Socket acceptSocket_: 
45 channel acceptChannel_: 
46 NewConnectioncalLback newConnectionCal1lbpack_; 
47 bool listenning_; 
48 J}; 

reactor/s04/Acceptor.h 


Acceptor 的 构造 函数 和 Acceptor::listen0 成 员 函 数 执 行 创建 TCP 服 务 
痪 的 传统 步骤 ， 即 调用 socket(2)、bind(2)、1listen(2) 等 Sockets API， 其 中 
任何 一 个 步骤 出 错 都 会 造成 程序 终止 :， 因 此 这 里 看 不 到 错误 处 理 。 


一 reactor/s04/Acceptor.cc 
19 Acceptor::Acceptor(EventLoop* loop, const InetAddress& listenAddr) 


20 : loop_(loop), 

21 acceptSocket_(sockets: :createNonblockinegQrDie()), 
22 acceptchannel_(loop, acceptSsocket_.fd(C)), 

23 listennine_(false) 

24 二 


25 acceptSocket_.setReuseAddr (true): 
26 acceptSocket_.bindAddress(listenAddr):; 
27 acceptChannel_.setReadcallbackt( 


28 boost::bind(&Acceptor: :handleRead, this)); 
29 } 

30 

31 void Acceptor::listen() 

32 二 

33 loop_->assertlnLoopThreadt( ); 

34 listennineg_ = true: 


35 acceptSocket_ .listent(); 
36 acceptChannel_.enableReading():; 


reactor/s04/Acceptor.cc 


Acceptor 的 接口 中 用 到 了 InetAddress class， 这 是 对 struct sockaddr_in 
的 傈 蛙 封 狼 ， 能 目 动 转换 字 节 序 ， 代 码 从 略 。InetAddress 具 备 值 语 义 ， 
是 可 以 找 风 的 。 

Acceptor 的 构造 函数 用 到 createNonblockingOrDie0) 来 创建 非 阻 塞 的 
socket， 现 在 的 Linux 可 以 一 步 完 成 《$4.11) ， 代 人 码 如 下 。 


reactor/s04/SocketsOps.cc 
int sockets: :createNonblockinegorDie() 


int sockfd = ::socket(AF_INET, 
SOCK_STREAM | SOCK_NONBLOCK | SOCK_CLOEXEC, 
IPPRQOTO_TCPY: 

if (sockfd < 日 ) 


LOG_SYSFATAL << "sockets::createNonblockingOrDie": 
} 


return sockfd; 


: reactor/s04/SocketsOps.cc 
Acceptor'::listen0 的 最 后 一 步 让 acceptChannel 在 socket 可 旋 的 时 候 调 
用 Acceptor::handleRead()， 后 者 会 接受 (accept(2)) 并 回调 
newConnectionCallback_。 这 里 特 接 把 socket fd 传 给 callback， 这 种 传 馆 
int 句 柄 的 做 法 不 够 理想 ， 在 C++11 中 可 以 先 创 建 Socket 对 象 ， 再 用 移动 
语义 把 Socket 对 象 std::move0O 给 回调 函数 ， 确 保 资 源 的 安全 释放 。 


reactor/s04/Acceptor.cc 
39 vold Acceptor: :handleRead() 
40 二 
41 loop_->assertlnLoopThread(): 
42 InetAddress peerAddr ie@): 
43 A7FIXME loop until no more 
44 Int connfd = acceptSocket_,.accept(&peerAgddry) ; 
45 if (connfd >= @) { 


46 if (newConnectionCallback_) { 

47 newCconnectionCallback_(connfd, peerAddr): 
48 } else 1{ 

49 sockets: :close(connfd): 

50 ] 

51 } 

52 】 


reactor/s04/Acceptor.cc 

注意 这 里 的 实现 没有 考虑 文件 摘 述 从 耗 尽 的 情况 ，muduo 的 处 理 办 
法 见 87.7。 还 有 一 个 改进 措施 ， 在 拿 到 大 于 或 等 于 0 的 connfd 之 后 ， 非 阻 
蹇 地 poll(2) 一 下 ， 看 看 fd 是 任 可 读 写 。 正 常情 况 下 poll(2) 会 返回 
writable， 表 明 connfd 可 用 。 如 果 poll(2) 返 回 错误 ， 表 明 connfd 有 问题 ， 
应 该 立刻 关闭 连接 。 

Acceptor::handleRead0 的 案 略 很 简单 ， 每 次 accept(2) 一 个 socket。 男 
外 还 有 两 种 实现 案 略 ， 一 是 每 次 循环 accept(2)， 直 至 没有 新 的 连接 到 
达 ; 二 是 每 次 竹 斌 accept(C2)N 个 新 连 搁 ，N 的 值 一 般 是 10。 后 面 这 两 种 做 
法 适合 短 连接 服务 ， 而 muduo 十 为 长 连接 服务 优化 的 ， 因 此 这 里 用 了 最 
简单 的 办 法 。 这 三 种 傈 略 的 对 比 见 论文 《accept()able Strategies for 
Improving Web Server Performance》 : 。 

利用 Linux 新 增 的 系统 调用 可 以 直接 accept(2) 一 步 得 到 非 阻 玫 的 
socket。 


reactor/s04/SocketsOps.cc 
94 int sockets::accept(int sockfd, struct sockaddr_inx addr) 


95 二 

96 socklen_t addrlen = sizeof xaddr: 

97 #if VALGRIND 

98 int connfd = ::accept(sockfd, sockaddr_casttaddr), &addrlen)}): 
99 setNonBlockAndCloseQnExec(connfd): 

100 #else 

101 int connfd = ::accept4(sockfd, sockaddr_cast(addr), 

102 &addrlen, SOCK_NONBLOCK | SOCK_CLOEXEC ) ; 
103 #endif 

104 if (connfd < &) 

105 { 

106 Int savedErrno = errno.; 

107 LOG_SYSERR << "Socket::accept": 

108 switch (savedErrno) 


109 { 


这 里 区 分 致命 错误 和 和 暂时 错误 ， 并 区 别 对 每 。 对 于 暂时 错误 ， 例 如 
EAGAIN、EINTR、EMFILE、ECONNABORTED 等 等 ， 处 理 办 法 是 忽 
略 这 次 错误 。 对 于 致命 错误 ， 例 如 ENEFILE、ENOMEM 等 等 ， 处 理 办 法 
是 终止 程序 ， 对 于 未 知 错误 也 照 此 办 理 。 


133 } 

134 } 

135 return connfd; 
136 } 


reactor/s04/SocketsOps.cc 


下 面 写 个 小 程序 来 试验 Acceptor 的 功能 ， 它 在 9981 端 口 侦 听 新 连 
接 ， 连 接 到 达 后 回 它 发 送 一 个 字符 串 ， 随 即 断 开 和 连接。 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 [eactor/s04/testi.cc 
7 void newConnection(int sockfd, const muduo::InetAddress& peerAddr) 
3 +{ 

9 printf("newConnection(}: accepted a new connection from %s\n", 
10 peerAddr. toHostPort().c_strO)): 
11 : :WriteCsockfd, "How are you?™\n”, 13Y: 
12 muduo: :sockets: :close(sockfd).; 
13 1} 
14 
15 int maint() 
16 芯 
17 printf("maint): pid = %d\n”, getpidO):; 
18 
19 muduo: :InetAddress listenAddr (998]1):; 
20 muduo: :EventLoop loop: 
21 
22 muduo: :Acceptor acceptor(&loop, listenAddr): 
23 acceptor. setNewConnectioncallback(newConnection): 
24 acceptor .listen(): 
25 
26 loop. loop(): 
27 也 

reactor/sQ4 /test/.cc 


练习 1: 把 s04/test7.cc 改写 为 daytime 服 务 器 。 
练习 2: 把 sS04/ptest7cc 直 充 为 同时 侦 听 两 个 port， 每 个 port 肥 进 不 同 的 
字符 串 。 


8.5 ”TcpServer 接 用 新 连接 


本 节 会 介绍 TcpServer 并 初步 实现 TcpConnection， 本 节 只 处 理 连接 
的 建立 ， 下 一 和 处 理 连 接 的 断 开 ， 再 往 后 依次 处 理 谈 取 数据 和 及 进 数 


据 。 

TcpServer 狐 建 连接 的 相关 冰 数 调用 顺序 见 图 8-4 (有 的 函数 名 古 俐 
写 ， 省 略 了 poll(2) 调 用 ) 。 其 中 Channel::handleEventO 的 触发 条 件 是 
listening Socket 可 该 ， 表 明 有 新 连接 到 达 。TcpServer 会 为 新 连接 创建 对 
应 的 WeDonneeon 


| EventLoop | ohana | | 人 JS | 


oop0 | 








handleEvent() 


handleRead() 





be LL | 
| | 
accept(2) | 
| 
| 
newConn() | 
-二 《Create 一 一 
3 TepConnection 
Te 
| 
establishedi) fs 
BB L [i Ed connCb!() 
图 8-4 


8.5.1 TcpServer Class 


TcpServer class 的 功能 是 管 os 大 得 的 TcpConnection。 
Lepore tl 用 户 直 接 使 用 的 ， 生 命 期 由 用 户 控 制 。TcpServer 的 接口 
如 下 ， 用 户 只 需要 设置 好 callback， 再 调用 startO 即 可 。 


reactor/s03/ TcpServerh 
24 class TcpServer : boost::noncopyable 


25 二 

26 public: 

27 

28 TcpServer(EventLoopx*x loop, const InetAddress& listenAddr). 

29 ~TcpServerC): /A/ force out-line dtor, for scoped_ptr members. 
30 

31 /7// Starts the Server if it s not listenning. 

32 A 


33 iit lt's harmless to call it multiple tlmes， 
34 Ait Thread safe. 
35 vold start(); 


36 
37 17/ Set connection callback. 

38 ‘ii Not thread safe. 

39 void setConnectionCcallback(const ConnectionCallback& cb) 
40 { connectionCallback_ = cb; } 

41 


42 iit Set message callback. 

43 /i/ Not thread safe. 

44 vold setMessageCallback(const MessageCallback& cb) 
45 { messageCallback_ = cb: } 


TcpServer 内 部 使 用 Acceptor 来 获得 新 连接 的 由 。 它 保存 用 户 提 供 的 
ConnectionCallback 和 MessageCallback， 在 新 建 TcpConnection 的 时 候 会 
原样 传 给 后 者 。TcpServer 持 有 目前 存活 的 TcpConnection 的 
shared_ptr〈 和 定义 为 TcpConnectionPtr) ， 因 为 TcpConnection 对 象 的 生命 
期 是 模糊 的 ， 用 户 也 可 以 持 有 TcpConnectionPtr。 


47 private: 
48 Ait Not thread safe, but in loop 


49 void newCconnection(int sockfd, const InetAddress& peerAddr): 

S50 

51 typedef std: :map<std: :string, TcpConnectionPtr> ConnectionMap: 

52 

53 EventLoop* loop_; // the acceptor loop 

54 const std::string name_: 

55 boost::scoped_ptr<Acceptor> acceptor_; // avold revealing Acceptor 
56 Connectioncallback connectionCallback_: 


57 MessageCallback messageCallback_:; 
58 bool started_. 
59 int mextconnId_; // always in loop thread 
60 ConnectionMap connectlions_: 
61 }; 
reactor/s0 /TcpServerh 


、 


每 个 TcpConnection 对 象 有 一 个 名 字 ， 这 个 名 字 是 由 其 所 属 的 
TcpServer 在 创建 TcpConnection 对 象 时 生成 ， 名 字 是 ConnectionMap 的 
key。 


在 新 连接 到 达 时 ，Acceptor 会 回调 newConnection()， 后 者 会 创建 
TcpConnection 对 象 conn， 把 它 加 入 ConnectionMap， 设 置 好 callback， 再 
调用 conn->connectEstablished()， 其 中 会 回调 用 户 提 供 的 
ConnectionCallback。 代 人 码 如 下 。 


一 reactor/s0 /TcpServercc 
50 void TcpServer: :newConnection(int sockfd, const InetAddress& peerAddr) 

51 { 

52 loop_->assertInLoopThread():; 

53 char buf[32]j: 

54 snprintf (buf, sizeof buf, "#%d", nextConnId_); 

55 ++nextConnld_: 

56 std: :string connName = name_ + buf ; 

57 

58 LOG_INFO << "TcpServer: :newConnection [™” << name_ 


59 << "| - new connection ["” << connName 

60 << "] from ”<< peerAddr .toHostPort(y ; 

61 InetAgdress localAddr(sockets: :getLocalAddr{(sockfd)); 

62 /7 FIXME poll with zero timeout to double confirm the new connection 
63 TcpConnectionPtr conn( 

64 new TcpConnection(loop_, connName, sockfd, localAddr, peerAddr)): 
65 connections_[connName] = conn; 

66 conn->setConnectioncallback(connectionCallback_): 

67 conn->setMessageCcallback(messageCallback_).; 

68 conn->connectEstablished(): 

69 


reactor/s0Q /TcpServer.cc 


练习 : 给 TcpServer 的 构造 函数 增加 string 参 数 ， 用 于 初始 化 name 成 
丰 过 量 。 

注意 muduo 尽 量 让 依赖 是 单 癌 的 ，TcpServer 会 用 到 Acceptor， 但 
Acceptor 并 不 知道 TcpServer 的 存在 。TcpServer 会 创建 TcpConnection， 但 
TcpConnection 并 不 知道 TcpServer 的 存在 。 另 外 L64 可 以 考虑 改 用 
make _shared0 以 节约 一 次 new。 


8.5.2 工 CpConnection class 

TcpConnection class 可 谓 是 muduo 最 核心 也 是 最 复杂 的 class， 它 的 头 
文件 和 源 文 件 一 共有 450 多 行 ， 是 muduo 最 大 的 class。 本 章 会 用 5 下 的 扁 
昼 来 逐渐 完善 它 。 

TcpConnection 是 muduo 里 唯一 默认 使 用 shared_ptr 来 管理 的 class， 也 
是 唯一 继承 enable_shared_from_thisH 的 class， 这 源 于 其 模糊 的 生命 期 ， 原 
风 84.7。 


reactor/'s0 5 /Callbacks.h 
21 class TcpConnection: 
22 typedef boost::shared_ptr<TcpConnection> TcpConnectionPtr: 

reactor/'s0 5 /Callbacks.h 


reactor/s03/TcpConnection.h 
30 class TcpCtonnection : boost: :noncopyable, 
31 public boost::enable_shared_from_this<TcpConnection> 
32 
33 public: 


Se 的 TcpConnection 没 有 可 供用 户 使 用 的 函数 ， 因 此 接口 从 略 ， 以 
其 数据 成 员 。 目 前 TcpConnection 的 状态 只 有 两 个 ，kConnecting 和 
ee 后 面 几 节 会 逐渐 丰富 其 状态 。TcpConnection 使 用 Channel 
来 获得 socket 上 的 IO 事件 ， 它 会 目 己 处 理 writable 事 件 ， 而 把 readable 事 
件 通 过 MessageCallback 传 达 给 客户 。TcpConnection 拥 有 TCP socket， 它 


的 析 构 函数 会 close(fd)〈 在 Socket 的 析 构 函数 中 发 生 ) 。 


6l1 private: 

62 enum StateE { kConnecting, kConnected, }: 
63 

64 void setState(StateE s) { state_ = s: } 
65 void handleRead(): 


66 

67 EventLoop* ] oop_， 

68 stgd::strIng Name_: 

69 StateE state_; // FIXME: Use atomic variable 
70 :i we don t expose those classes to client. 


ni boost: :scoped_ptr<Socket> socket_: 
72 boost: :scoped_ptr<Channel> channel_: 
73 InetAgdress LocalLAddr_: 
74 InetAddress peerAddr_; 
75 Connectioncallback connectionCallback_: 
76 MessageCallback messageCallback_: 
T7 二 
reactor/s03/TcpConnection.h 

注意 TcpConnection 表 示 的 是 “一 次 TCP 连 接 *， 它 是 不 可 再 生 的 ， 
日 连接 断 开 ， 这 个 TcpConnection 对 象 束 没 哈 用 了。 为 儿 ee 
没有 尽 起 连接 的 功能 ， 其 构造 亢 数 的 参数 是 已 经 建立 好 连接 的 socket 
fd 〈 无 论 是 TcpServer 被 动 接 受 还 是 TcpClient 主 动 发 起 ) ， 因 此 其 初始 状 
态 古 kConnecting。 

本 六 的 MessageCallback 定 义 人 很 原始 ， 没 有 使 用 Buffer class， 而 只 是 
把 (const char* buf, int len) 传 给 用 户 ， 这 种 接口 用 起 来 无 疑 是 很 不 方便 
的 。 


reactorsU957TCDLOonnection.CC 
57 wold TcpConnection: :handleRead() 


58 荆 

59 char buf[65536] ， 

60 ssize_t n = ::read(channel_->fd(), buf, sizeof buf): 
61 messageCallback_(shared_from_this(), buf, n); 

62 /i FIXME: close connection if n == @ 

53 } 


reactor/s05/TcpConnection.cc 


本 市 的 TcpConnection 只 处 理 了 建 并 连接 ， 没 有 处 理 断 开 连 接 〈 例 如 
handleRead0 中 的 read(2) 返 回 0) ， 接 收 数据 的 功能 很 简陋 ， 也 不 文 持 用 
这 数据 ， 这 些 都 会 逐步 得 到 完善 。 

s05/test8.cc 试验 了 目前 实现 的 功能 ， 它 实际 上 是 个 discard 服 务 。 但 
目前 它 永 远 不 会 天 闭 socket， 即 永远 走 不 到 else 分 文 〈L14) ， 在 过 到 对 
方 断 开 连接 的 时 候 会 陷入 busy loop。88.6 会 处 理 连 接 的 断 开 。 


reactor/s05 /testd .cc 
6 volid onConnection(const muduo::TcpConnectionPtr& conn) 


fi 二 

8 if (conn->connected()) 

es 坟 

10 printf("onConnection(): new connection [%s] from %s\n”, 
11 conn->name().c_str(), 

12 conn->peerAddress(}).toHostPort().c_str()).; 
13 } 

14 else 

15 

16 printf("onConnection(): connection [%s] is down\n", 
17 conn->name(),.c_str()): 

18 } 

19 } 

20 

21 vold onMessage(const muduo::TcpConnectionPtr& conn, 

22 const char*x data, 

23 sslize_t len) 

24 车 

25 printf("onMessage(}: received %zd bytes from connection [%sjAn”， 
26 len, conn->name().c_str()); 

27 } 

28 

29 1nt malnty》 

30 { 

31 printf("main(}: pid = %d\n”, getpidl)): 

32 


33 muduo: :InetAddress listenAddr i9981): 

34 muduo: :EventLoop loop: 

35 

36 muduo: :TcpServer server(&loop, listenAddr): 


37 server.setConnectionCallbacktonConnection); 
38 server.setMessageCallback(onMessage).; 

39 server,start(); 

40 

41 loop.1o00p(): 

a 


reactor/s05 /test8.cc 


以 上 代码 看 起 来 和 muduo 的 一 般 用 法 已 经 很 接近 了 。 
8.6” TcpConnection 上 条 开 连接 


muduo 只 有 一 种 关闭 连接 的 方式 : 被 动 和 关闭 〈 见 此 处 ) 。 即 对 方 先 
关闭 连 接 ， 本 地 read(2) 返 回 0， 触 有 关闭 馆 辑 。 将 来 如 采 有 必要 也 可 以 
给 TcpConnection 新 增 forceClose0 成 员 函 数 ， 用 于 主动 关闭 连接 ， 实 现 很 
简单 ， 调 用 handleCloseO 即 可 。 函 数 调 用 的 流程 见 图 8-5， 其 中 的 “X" 表 


示 ITcpConnection 退 常会 在 此 时 析 构 。 
EventLoop tt Channel | TepConnection TcpConnection TcpServer | 

| | E T 
loop( | | 


handleEvent(}) : 


handleRead() 





handleClose(}) ， 















































removeConn() 
queuelnLoop!() erasel) 
functors() a connectDestroyed() | 
a | connCGb() 
| | x | 
图 8-5 
一 般 来 讲 数据 的 删除 比 新 建 要 复杂 ，TCP 连 接 也 不 例外 。 关 闭 连 接 
的 注 程 看 上 去 有 扣 “ 缠 ”"”， 根 本 原因 是 此 处 讲 的 对 象 生命 期 管理 的 需要 


Channel 的 改动 


Channel class 新 增 了 CloseCallback 事 件 回 调 ， 并 且 上 断言 〈assertO) ) 
在 事件 处 理 期 间 本 Channel 对 象 不 会 析 构 ， 即 不 会 友 生 此 处 讲 的 出 钳 情 
wu 


reactor/s06/Channel.cc 
32 +Channel::~Channel() 
33 +{ 
34 + assert(leventHandling_):; 
35 +} 


42 void Channel::handleEvent() 


43 二 

44 + eventHandling_ = true: 

45 if (revents_ & POLLNVALY { 

46 LOG_WARN << "Channel::handle_event() POLLNVAL": 
47 } 

48 

49 + 1f (Crevents_ & POLLHUPY && ICrevents_ & POLLIN}Y) { 
50 十 LOG_WARN << "Channel::handle_event() POLLHUP": 
51 + if (closeCallback_) closecallback_(): 

52 -和 十 二 

53 if (revents_ & (POLLERR | POLLNVAL7y 区 

54 if (errorcallback_) errorcallback_(); 

55 } 

56 if (revents_ & (POLLIN | POLLPRI | POLLRDHUP}) { 
57 If (readCcallback_) readCallback_(): 

58 了 

59 if trevents_ & POLLOUTY 1{ 

60 if (writeCallback_y writeecallback_ TD) ; 

61 

62 二 eventHandling_ = false: 

63  } 


reactor/s06/Channel.cc 
TcpConnection 的 改动 


TcpConnection class 也 新 增 了 CloseCallback 事 件 回调 ， 但 十 这 个 回调 
是 给 TcpServer 和 TcpClient 用 的 ， 用 于 通知 它们 移 除 所 持 有 的 
TcpConnectionPtr， 这 不 是 给 普通 用 户 用 的 ， 普 通用 户 继 续 使 用 
ConnectionCalljback 。 

一 reactors0b/TcpLonnectionh 
56 Ai/ Internal Use only. 


57 + vold setCloseCallback(const CloseCallback& cb ) 
58 + { closeCcallback_ = cb: } 


59 
60 // called when TcpServer accepts a new connection 
61 void connectEstablished(). 上 should be called only once 


62 + // called when TCEpServer has removed me from its map 
63 + void connectDestroyed(); // should be called only once 


TcpConnection 把 另外 几 个 handle*(O 事 件 处 理 函 数 也 补 上 了 ， 
handleWriteO) 萌 时 为 衬 。Channel 的 CloseCallback 会 调用 
TcpConnection::handleCloseO0， 依 此 类 推 。 


65 
66 
67 
68 
69 
了 
7 
2 


91 
92 
93 
94 
95 
96 
9i 
98 
99 
L100 


private: 


enum StateE { kconnecting, kConnected, kDisconnected, }: 


void setState(StateE s) { state_ = s: } 
void handleRead(); 
woid handleWritel). 
vold handleClose(): 
void handleError(): 
reactor/s06/TcpConnection.h 


TcpConnection::handleRead() 会 检查 read(2) 的 返回 值 ， 根 据 返 回 值 分 
列 调 用 messageCallback_、handleCloseO0、handleErrorO)。 


reactorsb6/TCpkonnection.CC 


void TcpConnection: :handleRead() 


{ 


十 十 十 十 十 


} 


char buf[65536]:; 
ssize_t n = ::read(channel_->fd(), buf, sizeof buf); 
if (n> 0 ft 
messageCallback_(shared_from_this(), buf, n): 
+ else if (n == 6 上 
handleClose(): 
} else { 
handleError dy: 
J 


TcpConnection::handleClose() 的 主要 功能 是 调用 closeCallback_ ， 这 
个 回调 绑 定 到 TcpServer::removeConnection()。 


vold TcpConnection: :handleClose() 


{ 


J 


loop_->assertInLoopThread(); 

LOG_TRACE << "TcpConnection::handleClose state = " << state_; 
assert(state_ == kConnected): 

/7 we don t close fd, leave it to dtor, so we can find leaks easlly. 
channel_->disableAllO: 

上 / must be the last line 

closeCallback_(shared_from_thisf7y ， 


TcpConnection::handleError() 并 没有 进一步 的 行动 ， 只 是 在 日 志 中 输 
出 错误 消息 ， 这 不 影响 连接 的 正章 关 闭 。 


102 Vold TcpConnection: :handleError() 


103 {{ 

104 int err = SOCKets: :getSsocketError(channel_->fd()): 

105 LOG_ERROR << “TcpConnection: :handleError [” << Name_ 

106 << "|] - SO ERROR = ”< err ss ”< Strerror_tl(erry; 
107 1} 


TcpConnection::connectDestroyed() 古 TcpConnection 析 构 前 最 后 调用 
的 一 个 成 员 函 数 ， 它 通知 用 户 连 接 已 靳 开 。 其 中 的 L68 与 上 和 面 的 L97 重 
复 ， 这 是 因为 在 菜 些 情况 下 可 以 不 经 由 handleCloseO) 而 直接 调用 
COnnectDestroyed()。 


63 vold TcpConnection: :connectDestroyed ( ) 


64 二 
65 loop_->assertInLoopThread(); 
66 assert(state_ == KConnectedy) ; 


67 setstate(kDisconnected): 
68 channel_->disableAlltY: 
69 connectionCcallback_(shared_from_this(C)): 


"0 
71 loop_->removeCchannel(get_pointer(channel_)})): 
了 了 
reactor/s06/TcpConnection.cc 
TcpServer 的 改动 
TcpServer| 可 TcpConnection 注 册 CloseCallback， 用 于 接收 连接 断 开 的 
5 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 reactor/s06/TcpServer.cc 
50 vold TcpServer: :newConnection(int sockfd, const InetAddress& peerAddr ) 


51 +{ 
此 外 省略 没有 变化 的 代 公 。 


63 TcpConnectionPtr connec 

64 new TcpConnection(loop_, connName, sockfd, localAddr, peerAddr)): 
65 connections_[connName] = conn; 

66 conn->setconnectionCallback(connectioncallback_)}): 

67 conn->setMessageCallback(messageCallback_): 

68 + conn->setCcloseCallbackt 

69 + boost: :bind(&TcpServer: :removeConnection, this, _1)); 

70 conn->CconnectEstab1lishedf(y ; 

1 ) 


reactor/s06/TcpServer.cc 


通常 TcpServer 的 生命 期 长 于 它 建立 的 TcpConnection， 因 此 不 用 担 
心 TcpServer 对 象 失 效 。 在 muduo 中 ，TcpServer 的 析 构 函数 会 天 闭 连接 ， 


此 也 是 安全 的 。 

TcpServer::removeConnection0 把 conn 从 ConnectionMap 中 移 除 。 这 
时 TcpConnection 已 经 是 命 巷 一线: 如 条 用 户 不 持 有 TcpConnectionPtr 的 
话 ，conn 的 引用 计数 已 降 到 1。 注 意 这 里 一 定 要 用 
EventLoop::queueInLoopO， 人 否则 残 会 出 现 此 处 讲 的 对 象 生命 期 管理 问 
是 。 另 外 注意 这 里 用 boost::bindiFTcpConnection 的 生命 期 长 到 调用 
connectDestroyedO 的 时 刻 。 


reactor/s06/TcpServer.cc 
73 vold TcpServer::removeConnection(const TcpConnectionPtr& conn) 
74 攻 
75 loop_->assertInLoopThread(): 


76 LOG_INFO << "TcpServer: :removeConnection [”<< name_ 

77 << "|] - connection ”<< conn->name(); 

78 size_t n = connections_.erase(conn->name()): 

79 assert(n == 1); (voldyn; 

80 loop_->queueInLoopt 

81 boost::bind(&TcpConnection: :connectDestroyed, conn)): 
82 1 


reactor/s06/TcpServer.cc 


思考 并 验证 : 如 果 用 户 不 持 有 TcpConnectionPtr， 那 么 
TcpConnection 对 象 完 竟 在 什么 时 候 析 构 ? 

有 兴趣 的 读者 可 以 单 步 跟 踪 连 接 断 开 的 流程 ，S06/test8.cc 不 会 陷入 
busy loop。 目 前 的 做 法 不 是 最 人 简洁 的 ， 但 是 可 以 几乎 原封 不 动 地 用 到 多 
线程 TcpServer 中 (88.10) 。 


EventLoop 和 了 Poller 的 改动 
本 TcpConnection 不 再 是 只 生 不 灭 ， 因 此 要 求 EventLoop 也 提供 


unregister 功 能 。EventLoop 新 增 了 removeChannel0 成 员 函 数 ， 它 会 调用 
Poller::removeChannel0， 后 者 定义 如 下 ， 复 杂 虚 为 DO(logN)。 


reactor/s06/Pollercc 
a5 woid Poller::removeCchannel (channel* channel) 
96 六 
97 assertInLoopThreadfry ; 
98 LOG_TRACE << "fd = " << channel->fd(Y: 
99 assert(channels_.find(channel-=->fd()) != channels_.end()): 
100 assert(channels_[channel->fd()] == channel); 
101 assert(channel->isNoneEvent()): 
102 int idx = channel->index(): 
103 assert(g <= idx && idx < static_cast<int>(pollfds_.size())): 
104 const struct pollfd& pfd = pollfds_[idx]: (void}pfd: 


105 assert(pfd,fd == -channel->fd()-1 && pfd.events == channel->events()); 
106 size_t n = channels_.erase(channel->fd()): 
107 assertn == 1): (voidyn; 
108 if (implicit_cast<size_t>(idx) == pollfds_.size(}-1) 1f 
109 pollfds_.pop_back(); 
110 } else 二 
111 int channelAtEnd = pollfds_.back().fd; 
112 lter_swap(pollfds_.Degint}+idx, pollfds_ .endt}-1); 
113 if (channelAtEnd < 8@) { 
114 channelAtEnd = -channelAtEnd-1:; 
115 
116 channels_[channelAtEnd]->set_index(idx): 
117 pollfds_.pop_back(): 
118 } 
119 } 
i actor/ s06/ Poller.cc 


注 章 其 中 从 数组 pollfds_ 中 删除 元 兹 是 O() 复 杂 上 度 ， 办 法 是 将 符 删 除 
的 元 素 与 最 后 一 个 元 素 交 换 ， 再 pollfds_.pop_back()。 这 需要 相应 地 修改 
此 处 的 代码 : 


reactor/s06/Pollercc 
79 Update existing one 
80 assert(channels_.find(channel->fd()) != channels_.end(N)). 
81 assert(channels_[channel->fdO)] == channel)}: 
82 int idx = channel->index(); 
83 assert(@ <= 10X && idx < static_cast<int>(pollfds_.size())); 
84 struct pollfd& pfd = pollfds_[idx]: 
85 | assert(pfd.fd == channel-=>fdr() || pfd.fd == -channel->fd()-1): 
86 pfd.events = static_cast<short>(channel->events()): 
87 pfd,revents = 日 ; 
88 if (channel->isNoneEvent()) { 
89 /i lgnore this pollfd 
a0 | pfd.fd = -channel->fd(Y-1:;: 
91 } 
reactor/s06/Poller.cc 


8.7 ”Buffer 取 数据 


Buffer 是 非 阻 至 TCP 网 络 编程 必 不 可 少 的 东西 (87.4) ， 本 市 介绍 用 
Buffer 来 处 理 数 据 输入 ， 下 一 市 介绍 数据 输出 。Buffer 是 男 一 个 其 有 值 
语义 的 对 象 。 

首先 修改 s07/Callbacks.h 中 MessageCallback 的 定义 ， 现 在 的 参数 和 
muduo 一 样 ， 是 Buffer* 和 Timestamp， 不 再 是 原始 的 (const char* buf, int 
len)。 


27 typedef boost::function<void (const TecpConnectionPtr&， 
28 Bufferx*x buf ， 
29 Timestamp)> MessageCallback;: 


其 中 Timestamp 是 poll(2) 返 回 的 时 刻 ， 即 消 恩 到 达 的 时 刻 ， 这 个 时 
刻 早 于 二 a 到 数据 的 时 刻 (read(2) 调 用 或 返回 ) 。 因 此 如 果 要 比较 准确 地 
训 量 程序 处 理 消 恩 的 内 部 延 运 ， 应 该 以 此 时 刻 为 起 点 ， 否 则 测 出 来 的 结 
果 仿 小， 特别 是 处 理 并 发 连接 时 效果 更 明显 。【〔 为 什么 ?”) 为 此 我 们 需 
要 修改 Channel 中 ReadEventCallback 的 原型 ， 改 动 如 下 。 
EventLoop::loop0 也 需要 有 有 相应 的 改动 ， 此 处 从 上 略 。 


reactor/sQ/ /Channel.h 
27 class Channel : boost::noncopyable 
28 1 
29 public: 
30 typedef boost::function<void()> EventCallback ; 


31 + typedef boost::function<void(Timestamp)> ReadEventCallback: 


33 channel(EventLoop* loop, int fd): 

34 ~Cchannel(); 

35 

36 | void handleEvent(Timestamp receiveTime); 

37 | volid setReadcallback(const ReadEventCallback& cb) 


38 { readcallback_ = cb; } 
reactor/sQ /7 /Channel.h 


s07/test3.cc 试验 了 以 上 改动 : 


reactor/s07 /test$.cc 
9 lyoid timeout(muduo: :Timestamp receiveTime) 
10 
11 | printf(C"%s Timeout!l\n", receiveTime.toFormattedstring().c_str()):; 
12 g_loop->qulit(): 
13 1} 
14 


15 int malnty) 


17 + printf( %s started\n”, muduo: :Timestamp: :now() .toFormattedSstring() .c_stro)): 
18 muduo: :EventLoop loop: 
19 g_loop = &loop: 

reactor/s0 7 /test3$.cc 


8.7.1 TcpConnection 使 用 Buffer 作 为 输入 绥 冲 


先 给 TcpConnection 洪 加 inputBuffer 成 员 变 量 。 


reactor/s07 /TcpConnection.h 
83 connectionCallback connectionCallback_; 
84 MessageCallback messageCallback_; 
85 CloseCallback closekCal1lback_; 
86 + Buffer inputBuffer_: 


reactor/s07 /TcpConnection.h 


然后 修改 TcpConnection::handleRead0 成 员 了 水 数 ， 使 用 Buffer 来 读 取 
数据 。 


reactor/sQ7 /TcpConnection.ce 
74 Ivoid TcpConnection::handleRead(Timestamp receiveTime) 


75 二 

76 ! int savedErrno = 有 0; 

77 | ssize_t n = inputBuffer_.readFd(channel_->fd(), &savedErrno): 
78 if (n> 6@) 1 

79 | messageCallback_(shared_from_this(), &inputBuffer_, receiveTime): 
80 } else if (n == @) { 

81 handleClose(): 

82 } else 并 

83 十 errno = savedErrno; 

84 + LOG_SYSERR << "TcpConnection::handleRead": 

85 handleError(): 

86 ] 

87 】} 


reactor/s0/ /TcpConnection.cc 


修改 07/test8.cc 以 试验 本 次 改动 后 的 新 功能 。 


reactor/s0/ /test8.cc 
21 vold onMessage(const muduo::TcpConnectionPtr& conn, 
22 | muduo: :Buffer* buf ， 
23 | muduo: :Timestamp receliveTime) 
24 { 
25 + printf("onMessage(): received %zd bytes from connection [%s] at %s\n", 
26 十 buf ->readableBytes(), 
2 二 conn->name().c_strO), 
28 + receiveTime.toFormattedSstringe).c_strc)): 
29 + 
30 + printf("onMessage(): [%s]j\n”, buf->retrieveAsString().c_str()); 


31 1} 
reactor/s07 /test8.cc 


、 


这 个 测试 程序 看 上 去 和 muduo 的 正式 用 法 没有 区 别 。 


8.7.2 Buffer::readFd() 


我 在 此 处 所 到 Buffer 该 取 效 据 时 兼顾 了 内 存 使 用 量 和 效率 ， 其 实现 
I 下 。 


- reactor/sQ 7 /Buffer.cc 
18 ssilze_t Buffer::readFd(int fd, int* savedErrno) 
19 革 
20 char extrabuf[65536]: 
21 struct iovec vec[2]: 
22 const size_t writable = writableBytest).; 
23 vec[@].iov_base = begin(}+writerIndex_: 
24 vec[@],iov_len = writable:; 
25 vec[1].iov_base = extrabuf: 
26 vec[1].iov_len = sizeof extrabuf: 
27 const sslze_t n = readv(fd, vec, 2): 
28 if (nn < 8 { 
29 x*savedErrno = errno; 
30 } else if (implicit_cast<size_t>(n) <= writabley) { 
31 writerlndex_ += nN; 
32 } else { 
33 WriterIndex_ = buffer_.sizel): 
34 append(Cextrabuf, n - writable): 
35 } 
36 return n: 
37 了 

reactor/sQ 7 /Buffer.cc 


这 个 实现 有 几 点 值得 一 提 。 一 是 使 用 了 scatter/gather IO， 并 且 一 部 
分 缓冲 区 取 目 stack， 这 样 输入 绥 冲 区 足够 大 ， 通 第 一 次 readv(2) 调 用 台 
能 取 完 全 部 数据 :。 由 于 输入 绥 冲 区 足 够 大 ， 也 节省 了 一 次 
ioctl(socketFd, FIONREAD, &length) 系 统 调 用 ， 不 必 事 先知 道 有 多 少数 
据 可 读 而 提前 预 留 (reserve())〉 Buffer 的 capacity0， 可 以 在 一 次 读 取 之 后 
将 extrabuf 中 的 数据 append() 给 Buffer。 

二 古 Buffer::readFdO 只 调用 一 次 read(2)， 而 没有 反复 调用 read(2) 直 
到 其 返回 EAGAIN。 首 先 ， 这 么 做 是 正确 的 ， 因 为 muduo 采 用 level 
trigger， 这 么 做 不 会 丢失 数据 或 消息 。 其 次 ， 对 退 求 低 延 返 的 程序 来 
说 ， 这 么 做 是 局 效 的 ， 因 为 每 次 读数 据 只 需要 一 次 系统 调 有 用。 再次， 这 
样 做 照顾 了 多 个 连接 的 公平 性 ， 不 会 因为 茶 个 连接 上 数据 量 过 大 而 影 啊 
其 他 连接 处 理 消 居 。 

假如 muduo 采 用 edge trigger， 那 么 每 次 handleRead0O 至 少 调 用 两 次 
read(2)， 平 均 起 来 比 level trigger 多 一 次 系统 调用 ，edge trigger 不 见得 更 
局 效 。 

将 来 的 一 个 改进 措施 是 : 如 果 n == writable 十 sizeof extrabuf， 束 再 
全 /人 


8.8 TcpConnection 发 送 数据 


及 送 数据 比 接收 数据 更 难 ， 因 为 发 送 数据 是 主动 的 ， 接 收 谈 取 数据 
是 被 动 的 。 这 也 是 本 章 先 介绍 TcpServer 后 介绍 TcpClient 的 原因 。 到 目前 
为 止 ， 我 们 只 用 到 了 Channel 的 ReadCallback: 


TimerQueue 用 它 来 恋 timerfd(2)。 

EventLoop 用 它 来 谈 eventfd(2)。 
“TcpServer/Acceptor 用 它 来 读 ]listening socket。 
TcpConnection 用 它 来 谈 普 通 TCP socket。 


本 而 会 动用 其 WriteCallback， 由 于 muduo 采 用 level trigger， 因 此 我 
们 只 在 需要 时 才 关 注 writable 事 件 ， 合 则 束 会 造成 busy loop。 
s08/Channel.h 的 改动 如 下 : 


reactorsu8SALhannelh 
51 vold enableReading() { events_ |= KReadEvent;， update(): } 
52 1 void enableWriting() { events_ |= kWriteEvent: update(); } 
53 | voild disableWritine() { events_ &= ~kWriteEvyvent; update(): } 
54 void disableAll() { events_ = kNoneEvent: update().; } 
55 + bool isWriting() const { return events_ & kWriteEvent: } 
reactor/s08/Channel.h 


TcpConnection 的 接口 中 增加 了 send0 和 shutdown() 两 个 函数 ， 这 两 
站 数 都 可 以 足 线 程 调用 。 为 了 简单 起 抑 ， 本 章 只 提供 一 种 send0) 重 
车 X 。 


reactorsu8y/ ICcpLonnectionh 


51 + //void send(const voidx message, size_t 1eny) ; 
52 + // Thread safe. 

53 + Void send(const std::string& message):; 

54 + LA Thread safe. 

55 + void shutdown(): 


TcpConnection 的 状态 增加 到 了 4 个 ， 和 目前 muduo 的 实现 一 致 。 
enum StateE { kConnecting, kConnected, kDisconnecting, kDisconnected, 1}: 


其 内 部 实现 增加 了 两 个 *InLoop 成 员 疯 数 ， 对 应 前 面 的 两 个 新 接口 消 
数 ， 并 使 用 Buffer 作 为 输出 缓冲 区 。 


78 void handleClose(): 

79 void handleErrord): 

80 + void sendInLooptconst std::string& message ) ; 
81 + void shutdownInLoopfy ， 


94 Buffer inputBuffer_:; 
95 + Buffer outputBuffer_: 
reactor/s08/TcpConnection.h 


TcpConnection 有 一 个 非常 人 简 蛙 的 状态 图 〈( 见 图 8-6) 。 
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图 8-6 


TcpConnection 在 关闭 连接 的 过 程 中 与 其 他 操作 〈( 读 写 事 件 ) 的 交互 
比较 复杂 ， 疝 需 完 备 的 单元 测试 来 验证 各 种 时 序 下 的 正确 性 。 必 要 时 可 
能 要 新 增 状态 。 

shutdown() 是 线程 安全 的 ， 它 会 把 实际 工作 放 到 shutdownInLoop() 中 
来 做 ， 后 者 保证 在 IO 线 程 调 用 。 如 果 当 前 没有 正在 写 入 ， 则 关闭 写 入 
并 。 代 人 码 注 释 给 出 了 两 个 值得 改进 的 地 方 。 


reactor/s08/TcpConnection.cc 
a4 vold TcpConnection::shutdown() 


96 /7 FIXME: Use compare and swap 

97 if (state_ == kConnected) 

98 { 

99 setState(kDisconnecting); 

100 YA FIXME: shared_from_this()? 
101 loop_->runInLoop(boost::bind(&TcpConnection: :shutdownInLoop, this)): 
102 } 

103 } 

104 

i05 void TcpConnection::shutdownInLoop() 
106 荆 

107 loop_->assertInLoopThread(): 

108 if (lchannel_->isWriting()) 

109 

110 /i we are not Writing 

111 socket_->shutdownWrite(): 

112 } 

113 } 


reactor/s08/TcpConnection.cc 


由 于 新 增 了 kDisconnecting 状 在，TcpConnection::cConnectDestroyed0) 
和 TcpConnection::handleCloseO 中 的 assertO 也 需要 相应 的 修改 ， 代 人 码 从 


略 。 
send() 也 是 一 样 的 ， 如 果 在 非 1O0 线 程 调用 ， 它 会 把 message 复 制 一 

份 ， 传 给 IO 线程 中 的 sendInLoop(0 来 发 送 。 这 么 做 或 许 有 轻微 的 效率 损 
失 ， 但 是 线程 安全 性 很 容易 验证 ， 我 认为 还 是 利 大 于 葡 。 如 采 真 的 在 乎 
这 点 性 能 ， 不 如 让 程序 只 在 IO 线程 调用 send0。 另 外 在 C++11 中 可 以 使 
用 移动 语义 ， 避 免 内 存 找 贝 的 开销 。 

reactor/s08/TcpConnection.cc 
54 vold TcpConnection: :send(const std::string&é message) 


55 
56 if (state_ == kConnected) { 

57 if (loop_->isInLoopThread(})) { 

58 sendInLoop(message): 

59 } else { 

60 loop_->runInLoopt 

61 boost::bind(&TcpConnection::sendlnLoop, this, message)):; 
62 } 

63 } 

64 } 


sendInLoop0O 会 完 笑 试 直接 发 送 数 据 ， 如 末 一 炊 发 送 完 毕 束 不 会 局 
用 WriteCallback; 如 果 只 发 运 了 部 分 数据 ， 则 把 猎 余 的 数据 放 入 
outputBuffer ， 并 开始 关注 writable 事 件 ， 以 后 在 handlerWrite() 中 发 这 和 猎 
余 的 数据 。 如 果 当 前 outputBuffer 已经 有 签 友 送 的 数据 ， 那 么 束 不 能 先 


答 试 友 送 了 了， 因为 这 会 造成 数据 乱 序 。 


66 vold TcpConnection::sendIlnLoop(const std::string& message) 


67 二 
68 loop_->assertInLoopThread(); 
69 sslze_t nwrote = ¢@; 


70 A: if no thing in output queue, try writing directly 
71 if (Ichannel_->isWriting() && outputBuffer_.readableBytes() == 8@) { 


72 nwrote = ::write(tchannel_->fd()}, message.data(), message.slize()); 
73 if (nwrote >= 6) 上 

74 if (implicit cast<size_t>(nwrote) < message.slze(t)) 1{ 
75 LOG_TRACE << "I am going to write more data ; 

76 

77 } else { 

78 nwrote = 岂 ; 

79 if (errno != EWOULDBLOCKY) { 

80 LOG_SYSERR << “TcpConnection::sendInLoop”. 

81 } 

82 1 

83 } 

84 

85 assert(nwrote >= 日 ) ; 

86 if (implicit_cast<size_t>(nwrote) < messapge.size(}) { 

87 outputBuffer_.append(message.data(}+nwrote, message.size(})-nwrote).: 
88 if tlchannel_->isWriting(t)) 1{ 

89 channel_->enableWriting(): 

90 } 

91 } 

92 } 


reactor/s08/TcpConnection.cc 


当 Ssocket 变 得 可 写 时 ，Channel 会 调用 
TcpConnection::handleWrite()， 这 里 我 们 继续 友 这 outputBuffer_ 中 的 数 
据 。 一 有 旦 发 送 完 毕 ， 立 刻 停 止 观察 writable 事 件 〈L160) ， 有 避免 busy 
loop。 男 外 如 果 这 时 连接 正在 关闭 (L161〉 ， 则 调用 
shutdownInLoop()， 继 续 执 行 天 闭 过 程 。 这 里 不 需要 人 处理 错误 ， 因 为 一 
旦 及 生 错误 ，handleRead0O 会 该 到 0 字 节 ， 继 而 关闭 连接 。 


reactor/s08/TcpConnection.cc 
150 voild TcpConnection: :handleWriter) 


151 {{ 

152 loop_->assertIinLoopThread(); 

153 if (channel_->isWritine(})) { 

154 ssize_t n = ::write(channel_->fd0), 

155 outputBuffer_.peek(), 

156 outputBuffer_.readableBytes()): 
157 if fn > @) { 

158 outputBuffer_.retrieve(n): 

159 if (CoutputBuffer_.readableBytes(Y == @) { 

160 channel_->disableWriting(): 

161 if (state_ == kDisconnecting) 二 

162 shutdownInLoop(); 

163 } 

164 } else 二 

165 LOG_TRACE << "I am going to write more data : 
166 } 

167 } else { 

168 LOG_SYSERR << “TcpConnection: :handleWrite": 

169 

170 } else { 

171 LOG_TRACE << "Connection is down, no more writing"; 
172 

173 } 


reactor/s08/TcpConnection.cc 


注意 sendInLoopO 和 handlewriteO) 都 只 调用 了 一 次 write(2) 而 不 会 反 
复 调 用 直至 它 返 回 EAGAIN， 原 因 是 如 果 第 一 次 write(2) 没 有 能 够 发 送 完 
全 部 数据 的 话 ， 第 二 次 调用 加 肯定 会 返回 EAGAIN。 读 者 可 以 
很 容易 用 下 面 的 Python 代码 来 验证 这 点 。 因 此 muduo 决 定 节 省 一 次 系 
统 调用 ， 这 么 做 不 影 啊 程序 的 正确 性 ， E 降 低 延 到 


#! /usr/bin/python 
import socket, sys 


sock = socket.socket(socket.,AF_INET, socket.SOCK_STREAM) 
sock.connect(('remote_hostname'，9876)) # 这 里 最 好 连接 到 网 络 上 的 一 台 机 妖 
sock.setblockineg(@) 


a= 'a' * int(sys.argv[1]) # 两 条 消息 的 长 度 由 命令 行 给 出 ，a 应 该 足够 大 
b = 'b' * int(sys.argv[2]) 

n1 = Sock.send(a) # 第 一 次 发 送 

nz2z= 各 

try: 


n2 = sock.send(b) # 第 二 次 发 送 ， 通 到 EAGAIN 会 扫 socket.error 异 和 名 
except socket.error as ex: 
print ex # socket.error: [Errno 11] Resource temporarily unavallable 
print ni 
print n2 
sock.close() 


一 个 改进 措施 : TcpConnection 的 输出 缓冲 区 不 必 是 连续 的 
(outputBuffer_ 改 成 ptr_vector<Buffer>) ，handleWrite() 可 以 用 writev(2) 
来 肥大 多 块 数 据 ， 这 样 或 许 能 减 小 内 存 找 贝 的 次 数 ， 略 微 提 高 性 能 《但 
这 种 性 能 提高 不 一 定 能 和 梓 外 寞 感知 ) 。 

在 level trigger 模 式 中 ， 数 据 的 发 送 比较 态 烦 ， 因 为 不 能 一 直 天 注 
writable 事 件 ， 不 过 数据 的 读 取 很 简单 。 我 认为 理想 的 做 读 是 对 readable 
事件 采用 level trigger， 对 writable 事 件 采用 edge trigger， 但 是 目前 Linux 
不 文 持 这 种 设 定 。 

s08/test9.cc 是 echo server (86.4.2) ， 代 人 码 从 略 。s08/test10.cc 试验 
TcpConnection:: send0 的 功能 ， 它 和 前 面 的 Python 示例 相近 ， 都 是 通过 
命令 行 指 定 两 条 消息 的 大 小 ， 然 后 连续 发 送 两 条 消息 。 通 过 选择 不 同 的 
消 晨 长 度 ， 可 以 试验 不 同 的 code path。 


reactor/s08/testl0.cc 
9 void onconnection(const muduo::TcpConnectionPtr& conn) 
10 
11 if (conn->connected()) 
12 { 
13 printf("onConnection()}): new connection [%s] from %s\n", 
14 conn->name() .c_strO), 
15 conn->peerAddress().toHostPort().c_str()):; 
16 conn->send(messagel). 
17 conn->send(message2): 
18 conn->shutdown( ) ; 
19 
20 else 
21 { 
22 printf("onConnection(}): connection [%s] is down\n", 
23 conn->name().c_str()); 
24 } 
25 下 
reactor/sU08/testl0.cc 


8.9 ”人 完 秋 TcpConnection 


至 此 TcpConnection 的 主体 功能 接近 完备 ， 可 以 应 付 大 部 分 muduo 示 
例 的 需求 了 。 本 节 补 充 几 个 小 功能 ， 让 它 成 为 可 以 实用 的 单线 程 非 阳宅 
TCP 网 络 库 。 

8.9.1 SIGPIPE 


SIGPIPE 的 默认 行为 是 终止 进程 ， 在 命令 行程 序 中 这 是 合理 的 :， 但 


是 在 网 络 编程 中 ， 这 意味 看 如 末 对 方 断 开 连 接 而 本 地 继续 与 入 的 话 ， 会 
造成 服务 进程 意外 退出 。 

假如 服务 进程 繁忙 ， 没 有 及 时 处 理 对 方 断 开 连接 的 事件 ， 就 有 可 能 
出 现在 连接 断 开 之 后 继续 有 友 送 数据 的 情况 。 下 面 这 个 例子 模拟 了 这 种 情 
?元 : 


reactor/s09/testl0.cc 
10 void onCconnection(const muduo: :TcpConnectionPtr& conn) 
I1 于 
12 if (conn->connected()) 
13 
14 printf("onConnection(}): new connection [%s] from %s\n", 
15 conn->name(}).c_strO), 
16 conn->peerAddress().toHostPort().c_str()): 
17 二 if (sleepSeconds > 昌 ) 
18 于 
19 + : :Sleep(sleepSeconds); 
20 十 } 
21 conn->send(messagel):; 
22 conn->send(message2): 
23 conn->shutdown(): 
24 } 
reactor/s09 /testl0.cc 


假设 sleepSeconds 是 5 秒 ， 用 nc localhost 9981 创 建 和 连接 之 后 立刻 Ctrl- 
C 断 开 客 户 靖 ， 服 务 进 程 过 几 秒 融 会 退出 。 解 决 办 读 很 简单 ， 在 程序 开 
始 的 时 候 束 忽略 SIGPIPE， 可 以 用 C++ 全 局 对 象 做 到 这 一 点 。 


reactor/s09/EventLoop.cc 
38 class IenoreSigPipe 


40 public: 
41 IgnoreSigPipe() 
t 


43 ::Signal (SIGPIPE, SIG_IGN): 
4 } 
45 上 }; 


47 IenoreSigPipe 1Initob]; 
reactor/s09/EventLoop.cc 


8.9.2 TCP No Delay 和 和 TCP keepalive 


TCPNoDelay 和 TCPkeepalive 都 是 第 用 的 TCP 选 项 ， 前 者 的 作用 是 花 
用 Nagle 算 法 *， 有 避免 连续 有 友 包 出 现 延 退 ， 这 对 编 与 低 延 迟 网 络 服务 很 重 
有 要。 后 者 的 作用 是 定期 探 租 TCP 连 接 是 否 还 存在 。 一 般 来 说 如 采 有 应 用 
层 心跳 的 话 ，TCP keepalive 不 是 必需 的 :?， 但 是 一 个 通用 的 网 络 库 应 议 


其 露 其 搁 口 。《〈 本 书 不 涉及 TCP_CORK。) 
以 下 是 TcpConnection::setTcpNoDelay0O 的 实现 ， 涉 及 3 个 文件 。 


reactors09ATcpLonnection.h 
55 volid shutoowntr ) ， 
56 + Volid setTcpNoDelay(bool ony ; 

reactor/’s09/TcpConnection.h 


reactor/s09/TcpConnection.cc 
118 void TcpConnection: :setTcpNoDelay (bool on) 


120 socket_->setTcpNoDelay (on): 
121 } 
reactor/s09/TcpConnection.cc 


reactor/s09/Socket.cc 
60 void Socket::setTcpNoDelay(bool on) 
61 二 
62 Int optval = on ?+ 1 : 0; 
63 : :setsockopt (sockfd_, IPPROTO_TCP, TCP_NODELAY, 
64 &optval, sizeof optval).; 
65 /FIXME CHECK 
56 J 
reactor/s09/Socket.cc 
TcpConnection::setKeepAliveO 的 实现 与 之 类 似 ， 此 处 从 略 ， 可 参考 
muduo 疡 代 。 


8.9.3 “WriteCompleteCallback 和 了 HighWaterMarkCallback 


非 阻 和 里 网 络 编程 的 友 友 数据 比 讯 取 数据 要 团 难得 多 : 一 方面 是 88.8 
所 到 的 “什么 时 候 关 注 writable 事 件 ” 的 问题 ， 这 只 禹 来 编码 方面 的 难度; 
男 一 方面 是 如 果 发 送 数 据 的 速度 蜗 于 对 方 接 收 数据 的 速度 ， 会 造成 数据 
在 本 地 内 存 中 堆积 ， 这 市 来 设计 及 安全 性 方面 的 难度 。muduo 对 此 的 解 
决 办 法 是 提供 两 个 回调 ， 有 的 网 络 库 把 它们 称 为 “ 蜗 水 位 回调 ”和 “ 低 水 
位 回调 ?，muduo 使 用 HighWaterMarkCallback 和 WriteCompleteCallback 这 
两 个 名 字 。WriteCompleteCallback 很 容易 理解 ， 如 有 果 友 运 绥 冲 区 被 清 
空 ， 就 调用 它 。TcpConnection 有 两 处 可 能 触发 此 回调 : 


一 reactor/s0/TcopConnection.cc 
66 void TcpConnection: :sendInLoop(const std::strineg& message) 


67 小 

68 loop_->assertlnLoopThreadr): 

69 sslZe_t nwrote = 9; 

70 A if no thing in output queue, try Writing directly 

71 if (lchannel_->isWriting() && outputBuffer_.readableBytes() == 0) { 
72 nwrote = ::write(channel_->fd(}), message.data(), message.sizel)): 
73 if (nwrote >= 0@) { 

714 if (implicit_cast<size_t>(nwrote) < message,size()) { 

75 LOG_TRACE << "I am going to write more gata ; 

76 + +} else if (writeCompleteCallback_) { 

rT 十 loop_->queueInLoop( 

18 + boost::bind(writeCcompleteCcallback_, shared_from_this())): 
79 

80 } else { 

81 nwrote = ¢@: 


reactor/s09/TcpConnection.cc 


reactor/s09/TcpConnection.ce 
157 Void TcpConnection::handleWrite() 


158 { 

159 loop_->assertInLoopThread(); 

150 if (channel_->isWriting()) 1{ 

161 ssize_t n = ::Wwrite(channel_->fd(), 

162 outputBuffer_.peek(), 

163 outputBuffer_.readableBytes()): 
164 If (n> 808) 1{ 

165 outputBuffer_.retrieve(n).: 

166 If (outputBuffer_.readableBytes() == 日 ) 1{ 

167 channel_->disableWriting().: 

168 + if (writeCcompleteCcallback_) { 

169 + 1oop_->queueInLoop' 

170 十 boost: :bind(writeCompletecCcallback_，shared_from_thisf7yyy 
171 二 } 

172 if (state_ == kDisconnectiney) { 

173 shutdownInLoop(); 

174 } 


reactor/s09/TcpConnection.cc 


TcpConnection 和 TcpServer 也 需要 相应 地 和 对 器 WriteCompleteCallback 
的 接口 ， 代 码 从 略 。 

sS09y/test11.cc 是 chargen 服 务 (87.1) ， 用 到 了 
WriteCompleteCallback， 代 码 从 略 。 

另外 一 个 有 用 的 callback 是 HighWaterMarkCallback， 如 采 输 出 绥 冲 
的 长 度 超 过 用 户 指 定 的 大 小 ， 束 会 触发 回调 (只 在 上 升 沿 触发 一 次 ) 。 
代码 见 muduo， 此 处 从 略 。 

如 果 用 非 阻 奢 的 方式 写 一 个 proxy，Pproxy 有 C 和 S 两 个 连接 

(87.13) 。 只 考虑 server 友 给 cdlient 的 数据 流 〈 反 过 来 也 是 一 样 )， 为 了 


防止 server 发 过 来 的 数据 撑 灯 C 的 输出 缓冲 区 ， 一 种 做 法 是 在 C 的 
HighWaterMarkCallback 中 集 止 恋 取 S 的 数据 ， 而 在 C 的 
WriteCompleteCallback 中 恢复 读 取 S 的 数据 。 这 束 跟 用 粗 水 官 往 水 桶 里 
洪水 ， 用 细 水 管 从 水 桶 中 取水 一 个 道理 ， 上 下 两 个 水 龙头 要 轮流 开 合 ， 
类 似 PWM。 


8.10 ”多 线程 TcpServer 


本 和 章 的 最 后 儿 节 介绍 三 个 主题 : 多 线程 TcpServer、TcpClient、 
epoll(4)， 主 题 之 间 相 互 独立 。 
本 节 介绍 多 线程 TcpServer， 用 到 了 EventLoopThreadPool class。 


EventLoopThreadPooll 


用 one loop per thread 的 思想 实现 多 线程 TcpServer 的 关键 步骤 是 在 新 
建 TcpConnection 时 从 event loop pool 里 挑选 一 个 loop 给 TcpConnection 
用 。 也 残 是 说 多 线程 TcpServer 目 己 的 EventLoop 只 用 来 接 有 党 新 连接 ， 而 
新 连接 会 用 其 他 EventLoop 来 执行 IO。 “〈 单 线程 TcpServer 的 EventLoop 是 
与 TcpConnection 共 至 的 。) muduo 的 event loop pool 由 
EventLoopThreadPool class 表示， 接口 如 下 ， 实 现 从 略 。 


reactor/s10/EventLoopThreadPoolL.h 
27 class EventLoopThreadPool : boost::noncopyable 


29 public: 

30 EventLoopThreadPool (EventLoop* baseLoop): 

31 ~EventLoopThreadPool(): 

32 vold setThreadNum(int numihreads) { numThreads_ = numilhreads:; } 
33 vold Start( ) ; 

34 EventLoop* getNextLoop(y) ; 


36 private: 


37 EventLoop* baseLoop_; 

38 bool started_; 

39 int numThreads_， 

40 Int next_; // always in loop thread 

41 boost: :ptr_vector<EventLoopThread> threads_: 
42 std: :vector<EventLoop*> loops_.: 

43 }; 


reactor/sl0/EventLoopThreadPool.h 


TcpServer 每 次 新 建 一 个 TcpConnection 就 会 调用 getrNextLoop() 来 取 
得 EventLoop， 如 果 是 单线 程 服务 ， 每 次 返回 的 都 是 baseLoop_， 即 


TcpServer 目 己 用 的 那个 loop。 其 中 setThreadNum0 的 参数 的 意义 见 
TcpServer 代 码 注 释 。 


reactor/si0/TcpServer.h 

25 class TcpServer : boost: :noncopyable 
26 { 
27 public: 
28 
29 TcpServer(EventLoop* loop, const InetAddress& listenAddr): 
30 ~Tcpserver(); // force out-line dtor, for scoped_ptr members. 
31 
32 + jt Set the number of threads for handling input. 
33 十 Vi 
34 + /// Always accepts new connection in loop's thread. 
35 + /// Must be called before @c start 
36 + /i// Bparam NumThreads 
37 + /// - ©@ means all 1/Q in loop's thread, no thread will created. 
38 + /// this is the default value. 
39 + /A// - 1 means all I/0 in another thread. 
40 + /A// - N means a thread pool with N threads, new connections 
41 + /// are assigned on a round-robin basis. 
42 + void setThreadNum(int numThreads): 

TcpServer 只 用 增加 一 个 成 员 函 数 和 一 个 成 员 变 量 。 
65 private: 
66 /ii Not thread safe, but in loop 
67 void newConnection(int sockfd, const InetAddress& peerAddr): 
68 + /// Thread safe. 
69 VolId removeConnectiontconst TcpConnectionPtr& conn): 


70 + /AI Not thread safe, but in loop 
71 + wold removeConnectionInLoop(const TcpConnectionPtr& conn): 


73 typedef std: :map<std::string, TcpConnectionPtr> ConnectionMap: 

74 

75 EventLoopx loop_; // the acceptor loop 

76 const std::string mame_， 

77 boost::scoped_ptr<Acceptor> acceptor_; // avold revealing Acceptor 


78 + boost::scoped_ptr<EventLoopThreadPool> threadPool_: 
reactor/sl0/TcpServer.h 


多 线程 TcpServer 的 改动 很 蚀 单 ， 狐 建 连接 只 改 了 3 行 代 人 码 。 原 来 是 
把 TcpServer 上 自用 的 loop_ 传 给 TcpConnection， 现 在 是 每 次 从 
EventLoopThreadPool 取 得 ioLoop。L81 的 作用 是 让 TcpConnection 的 
ConnectionCallback 由 ioLoop 线 程 调 用 。 


59 


reactor/sl0/TcpServer.cc 


vold TcpServer: :newConnection(int sockfd, const InetAddress& peerAddr) 


{ 


InetAddress localAddr(sockets: :getLocalAddr (sockfd)): 
7/ FIXME poll with zero timeout to double confirm the new connection 
EventLoop* ioLoop = threadPool ->getNextLoop(): 
TcpCconnectionPtr connt 

new TcpConnection(ioLoop, connName, sockfd, localAddr, peerAddr)): 
connections_[connName] = conn; 
conn->setConnectionCallback(connectionCallback_): 
conn->setMessageCallback(messageCallback_): 
conn->setWriteCompleteCallback(writecompleteCallback_); 
conn->setcloseCallbackt( 

boost: :bind(&TcpServer: :removeConnection, this, _1)); // FIXME: unsafe 
ioLoop->runInLoop(boost::bind(&TcpConnection: :connectEstablished, conn})): 


reactor/s10/TcpServer.cc 


连接 的 销毁 也 不 复杂 ， 把 原来 的 ramoveConnection0 拆 为 两 个 函 

数 ， 因 为 TcpConnection 会 在 目 己 的 ioLoop 线 程 调 用 

removeConnection()， 所 以 需要 把 它 移 到 TcpServer 的 loop_ 线程 (因为 
TcpServer 是 无 锁 的 ) 。L98 再 次 把 connectDestroyedO 移 到 TcpConnection 
的 ioLoop 线 程 进行 ， 是 为 了 保证 TcpConnection 的 ConnectionCallback 始 
终 在 其 ioLoop 回 调 ， 方 便 各 户 姗 代码 的 编 与 。 


+j 


reactor/s10/TcpServer.cc 


vold TcpServer: :removeConnection(const TcpConnectionPtr& conn) 


YA FIXME: unsafe 
loop_->runInLoop(boost::bind(&TcpServer: :removeConnectionInLoop, this, conn)):; 


+void TcpServer: :removeConnectionInLoop(const TcpConnectionPtr& conn) 


+{ 


loop_->assertInLoopThread(); 
LOG_INFO << "TcpServer: :removeCconnectionInLoop [”<< name_ 
<< "|] - connection ”<< conn->name()}): 
slze_t n = connections_.erase(conn->name()); 
assertn == 1); (void)n.;: 
EventLoop* ioLoop = conn->getLoop():; 
ioLoop->queuelInLoopt 
boost: :bind(&TcpConnection: :connectDestroyed, conn))}): 


reactor/s10/TcpServer.cc 


总 而 言 之 ，TcpServer 和 TcpConnection 的 代码 都 只 处 理 单 线程 的 情 
况 〈 其 至 都 没有 mnutex 成 员 ) ， 而 我 们 倍 助 EventLoop::runInLoopO 并 引 
入 EventLoopThreadPool 让 多 线程 TcpServer 的 实现 易如反掌 。 注 意 ioLoop 


和 loop_ 间 的 线程 切换 都 发 生 在 连接 建立 和 汤 开 的 时 刻 ， 不 影 啊 正 常 业 
务 的 性 能 。 

muduo 目 前 采用 最 简单 的 round-robin 算 法 来 选取 pool 中 的 
EventLoop， 丰 允许 TcpConnection 在 运行 中 更 换 EventLoop， 这 对 长 连接 
和 短 连 接 服 务 都 是 适用 的 ， 不 多 造成 侦 载 。muduo 目 前 的 设计 是 每 个 
TcpServer 有 目 己 的 EventLoopThreadPool， 多 个 TcpServer 之 间 不 共 襄 
EventLoopThreadPool。 将 来 如 果 有 必要 ， 也 可 以 多 个 TcpServer 共 吝 
EventLoopThreadPool， 比 方 说 一 个 服务 有 多 个 等 价 的 TCP 问 口 ， 每 个 
TcpServer 负 贡 一 个 问 口 ， 而 来 日 这 些 口 的 连接 (s) 共 至 一 个 
EventLoopThreadPool。 

男 外 一 种 可 能 的 用 法 是 一 个 EventLoop aLoop 供 两 个 TcpServer 使 用 

(a 和 b) 。 其 中 a 是 单线 程 服务 ，aLoop 既 要 accept(2) 连 接 也 要 执行 IO; 

而 b 是 多 线程 服务 ， 有 自己 的 EventLoopThreadPool， 只 用 aLoop 来 
accept(2) 连 接 。aLoop 上 还 可 以 运行 几 个 TcpClient。 这 些 搭配 都 是 可 行 
的 ， 这 也 正 是 EventLoop 的 灵活 性 所 在 ， 可 以 根据 需要 在 多 个 线程 间 调 
配 人 负载 。 

本 节 更 新 了 test8~test11， 均 支持 多 线程 。 


8.11 (Connector 


主动 发 起 连接 比 被 动 接受 连接 要 复 末 一 些 ， 一 方面 是 错误 处 理 搓 
烦 ， 另 一 方面 是 要 考虑 重 试 。 在 非 阻 杜 网 络 编程 中 ， 发 起 连接 的 基本 方 
式 是 调用 connect(2)， 当 socket 变 得 可 与 时 表明 连接 建立 完毕 。 当 然 这 其 
中 要 处 理 各 种 类 型 的 错误 ， 因 此 我 们 把 它 封 装 为 Connector class。 接 口 
如 下 : 


reactors1l1AConnectorh 
25 Class Connector : boost::noncopyable 


26 二 

27 pyublic: 

28 typedef boost: :function<svoid (int sockfd}> NewConnectionCallback: 
29 

30 Connector(EventLoop* loop, const lnetAddress& serverhddr): 

31 ~Connector(), 

32 

33 void setNewConnectionCallback(const NewConnectionCallback& cb) 
34 { newconnectionCallback_ = cb; } 

35 

36 vold start); YA can be called in any thread 

37 void restart(}); // must be called in loop thread 


38 vold stop(); YA can be called in any thread 
reactor/sl1/Connector.h 


Connector 只 人 负 贡 建 六 socket 连 接 ， 不 人 负 贡 创建 TcpConnection， 它 的 
NewConnectionCallback 回 调 的 参数 是 socket 文 件 描述 符 。 以 下 是 一 个 人 简 
单 的 测试 (sl1/test12.cc ) ， 它 会 反复 尝试 直至 成 功 建立 连接 。 


reactor/sl1/testl .cc 
muduo: :EventLoop* g_loop; 


6 
7 
8 void connectCcallback(int sockfd) 
9 


{ 
10 printf("connected .sn ); 


11 g_loop->quit(); 
17 3} 


14 int main(int argcec, char* argvL]) 

15 区 

16 muduo: :EventLoop 1 oop 

17 g_loop = &loop: 

18 muduo: :InetAddress addr("127.0.8.1", 9981); 

19 muduo: :ConnectorPtr connectortnew muduo: :Connector(&]loop, addr));: 
20 connector->setNewConnectionCallback(connectcallback); 

21 connector->start( ) ; 


23 loop .1oopfy ， 


reactor/s1L1Atest12.CC 


Connector 的 实现 有 几 个 难点 : 


socket 是 一 次 性 的 ， 一 旦 出 错 〈 比 如 对 方 拒绝 连接 ) ， 束 无 法 恢 
复 ， 只 能 关闭 重 来 。 但 Connector 是 可 以 及 复 使 用 的 ， 因 此 每 次 等 试 连接 
都 要 使 用 新 的 socket 文件 摘 述 符 和 新 的 Channel 对 象 。 要 留意 Channel 对 
象 的 生命 期 管理 ， 并 防止 socket 文 件 摘 述 符 油 漏 。 


:错误 代码 与 accept(2) 不 同 ，EAGAIN 是 真 的 错误 ， 表 明 本 机 
ephemeral port 芹 时 用 完 ， 要 关闭 Socket 再 延期 重 试 。 “正在 连接 ”的 返回 
伺 征 EINPROGRESS。 帮 外， 即便 出 现 socket 可 与 ， 也 不 一 定 意 味 痢 连 
接 已 成 功 建立 ， 还 需要 用 getsockopt(sockfd, SOL_SOCKET, SO_ERROR， 
.再 钦 确 认 一 下 。 

: 重 试 的 间隔 应 该 逐渐 延长 ， 例 如 0.5s、1s、2Ss、4s， 直 人 至 30s， 即 
back-off。 这 会 造成 对 象 生 命 期 管理 方面 的 困难 ， 如 条 使 用 
EventLoop::runAfterO 定 时 而 Connector 在 定时 需 到 期 之 六 析 构 了 怎么 
办 ? 本 节 的 做 法 是 在 Connector 的 析 构 函数 中 注销 定时 堪 。 

:要 处 理 自 连 接 (self-connection) 。 出 现 这 种 状况 的 原因 如 下 。 在 
发 起 连接 的 时 候 ，TCP/IP 协 议 栈 会 先 选择 sourceIP 和 sourceport， 在 没有 
显 式 调用 bind(2) 的 情况 下 ，source IP 由 路 由 表 确 定 ，source port 由 TCP/IP 
协议 栈 从 local port range: 中 选取 尚未 使 用 的 port( 妈 ephemeral port) 。 

如 果 destination IP 正 好 是 本 机 ， 而 destination port 位 于 local port range， 且 
没有 服务 程序 监听 的 话 ，ephemeral port 可 能 正好 选中 了 destination 

port， 这 就 出 现 (source IP, source porb 三 (destination IP, destination port) 的 
情况 ， 即 发 生 了 目 连 接 。 处 理 办 法 是 断 开 连接 再 重 试 ， 合 则 原本 侦 听 
destination port 的 服务 进程 也 无 法 局 动 了 。 


这 里 就 不 展示 Connector class 了 ， 访 者 可 以 市 看 以 上 疑问 去 疯 旋 
muduo 源 位。 

练习 1: 改写 sl11/test12.cc ， 通 过 命令 行 控 制 它 发 起 N 个 并 发 连接 ， 
可 用 于 测试 TCP 网 络 服务 程序 的 并 发 性 。 注 意 这 个 练习 可 能 没有 想象 中 
那么 简单 ， 如 果 同 时 发 起 10000 个 连接 ， 那 么 菜 些 TCP SYN 分 节 可 能 
包 ， 而 操作 系统 默认 重 发 SYN 的 延 时 是 3 秒 ， 我 们 无 法 直接 控制 。 因 此 
需要 控制 并 发 度 ， 采 用 流水 作业 ， 尽 量 减少 丢 包 。 

练习 2: 验证 自 连 接 出 现 的 情况 。 


TimerQueue::cancel() 


8$8.2 实 现 的 TimerQueue 不 能 注销 定时 需 ， 本 布 补 充 这 一 功能 。 
TimerQueue:: cancel0 的 一 种 简单 实现 是 用 shared_ptr 来 管理 Timer 对 象 ， 
再 将 TimerId 定 义 为 weak_ptr<Timer>， 这 样 几乎 不 用 我 们 做 什么 事情 。 
在 C++11 中 应 该 也 足够 高 效 ， 因 为 shared_ptr 具 备 移动 语义 ， 可 以 做 到 引 
用 计数 值 始终 不 变 ， 没 有 原子 操作 的 开销 。 但 用 shared_ptr 来 管理 Timer 
对 象 似乎 显得 有 点 小 题 大 做 ， 而 且 这 种 做 法 也 有 一 个 小 小 的 缺点 ， 如 果 
用 户 一 直 持 有 TimerId， 会 造成 引用 计数 所 占 的 内 存 无 法 释放 ， 而 本 市 


展示 的 做 法 不 会 有 这 个 问题 。 

本 市 采用 更 传统 的 方式 ， 保 持 现 有 的 设计 ， 让 TimerId 包 侣 
Timer* 。 但 这 是 不 够 的 ， 因 为 无 法 区 分 地 址 相同 的 先后 两 个 Timer 对 
象 。 因 此 每 个 Timer 对 象 有 一 个 全 局 递增 的 序列 号 int64_t sequence 〔 用 
原子 计数 器 (AtomicInt64)〉 生 成) ，TimerId 同 时 保存 Timer* 和 
segquence_， 这 样 TimerQueue::cancel() 束 能 根据 TimerId 找 到 需要 注销 的 
Timer 对 象 。 


reactor/sl1/|Timer.h 
20 /ii 
21 /// Internal class for timer event. 
22 A 
23 class Timer : boost: :noncopyable 
24 
25 public: 
26 Tm nat TimerCallback& cb, Timestamp when, double interval) 
27 : Callback_{cb), 
28 expiration_(when), 
29 linterval_(interval), 
30 repeat_(interval > @.8), 
31 + sequence_(s_numCreated_.incrementAndGet()) 
32 { 
33 } 
46 private: 
47 const TimerCcallback callback_; 
48 Timestamp expiration_; 
49 const double interval_: 
50 const bool repeat_; 
51 + Const int64_t Segquenece_， 
S22 
53 + static AtomlcInt64 s_numCreated_: 
4 
reactor/sl1/Timer.h 


TimerQueue 新 增 了 cancel0 接 口 函 数 ， 这 个 函数 是 线程 安全 的 。 


reactorslL1 TImerOueue.h 
32 class TimerQueue : boost::noncopyable 


33 { 
34 public: 


47 + wold cancel(TimerId timerld): 


48 

49 private: 

50 

51 // FIXME: Use unique_ptr<Timer> instead of raw pointers. 
52 typedef std: :pair<Timestamp, Timer*> Entry: 

53 typedef std::set<Entry> TimerList:; 


54 + typedef std::pair<Timer*, int64_t> ActiveTimer: 
55 + typedef std::set<ActiveTimer> ActiveTimerSet. 


57 void addTimerInLoop(Timer* timer): 
58 + void cancellnLoop(Timerld timerld): 


cancelO0 有 对 应 的 cancelInLoopO 函 数 ， 因 此 TimerQueue 不 必用 锁 。 
TimerQueue 新 增 了 几 个 数据 成 员 ，activeTimers_ 保 存 的 是 目前 有 效 的 
Timer 的 指针 ， 并 满足 invariant: timers_.size() == activeTimers_.size()， 
为 这 两 个 容 颖 保存 的 是 相同 的 数据 ， 只 不 过 timers_ 古 按 到 期 时 间 排 
序 ，activeTimers 是 按 对 象 地 址 排序 。 


70 ATimer list sorted by expiration 

71 TimerList tlmers_; 

77 十 

73 + // for cancel() 

74 + bool callingExpiredTimers_: /* atomic */ 
75 + ActiveTimerSet actIveTImers_; 

76 + ActiveTimersSet cancelingTimers_: 

mm 上 


reactor/sl1/TimerQueue.h 


由 于 TimerId 不 负责 Timer 的 生命 期 ， 其 中 保存 的 Timer* 可 能 失效 ， 
此 不 能 直接 dereference， 只 有 在 activeTimers 中 找到 了 Timer 时 才能 提 
领 。 注 销 定时 桥 的 流程 如 下 ， 照 例 用 EventLoop::runInLoop0 将 调用 转发 
到 IO 线程 : 


reactor/sl1/TimerQuevue.cc 
119 void TimerQueue: :cancel(Timerld timerId) 


120 { 

121 loop_->runInLoop( 

122 boost: :bind(&TimerQueue: :cancelInLoop, this, timerld)): 
123 } 


136 voild TIimerQueue: :cancelInLoop(Timerld timerId) 


137 +{ 
138 loop_->assertInLoopThread(): 
139 assert(timers_.size() == activelimers_.size()):; 


140 ActiveTimer timerttimerId.timer_，timerId.segquence_) ; 
141 ActiveTimerSset::iterator it = activeTimers_.find(timer): 
142 if (it != activeTimers_.end(})) 


143 { 

144 size_t n = timers_.erase(lEntry(it->first->expiration(), it->first)): 
145 assert(n == 1); (void)n: 

146 delete it->first; // FIXME: no delete Please 
147 activeTimers_.erase(it); 

148 } 

149 else if tcallingExpiredTimers_) 

150 { 

151 cancelingTimers_.insert(timer):; 

152 } 

153 assert(timers_.size() == activeTimers_.size()): 
154 } 


reactor/sl1/TimerQuevue.cc 


上 面 这 段 代 人 码 中 的 cancelingTimers_ 和 callingExpiredTimers_ 是 为 了 
应 对 “ 目 注 销 ” 这 种 情况 ， 即 在 定时 右 回 调 中 注销 当前 定时 颖 : 


sll/test4.cc 
3 muduo::EventLoop* g_loop: 
9 muduo: :Timerld toCancel: 
10 
1l1 void cancelSelf() 
l2 { 
13 print("cancelSelf()"); 
14 g_loop->cancel(toCancel); 
15 } 
16 
17 int mainfy 
18 攻 
19 muduo: :EventLoop 10o0p， 
20 g_loop = &1oop; 
21 
22 toCancel = loop.runEvery(5, cancelSself),; 
23 loop. loop(); 
24 1} 
sl1/test4.cc 


当 运 行人 到 L14 的 时 候 ，toCancel 代 表 的 Timer 己 经 不 在 timers_ 和 和 


activeTimers_ 这 两 个 容 右 中 ， 而 是 位 于 L162 的 expired 中 〈 见 此 处 的 
getExpired() 实 现 〉。 


reactor/sl1/TimerQueue.cc 
156 Void TimerQueue::handleRead() 


157 二 

158 Loop_->assertInLoopThreadry ; 

159 Timestamp now(Timestamp: :Now()); 

160 readTimerfd(timerfd_, now): 

161 

162 std: :Vector<Entry> expired = getExpired(now); 
163 

164 + callinzExpirediimers_ = true; 

165 + cancelingTimers_.clear(): 

166 7// safe to callback outside critical section 
167 for (std::vector<Entry>::iterator it = expired.begin(): 
168 it l= expired.end(); ++1it) 

169 { 

170 1t->second->run(): 

171 } 

172 + callingExpiredTimers_ = false: 

173 

174 reset(explred, Now); 

175  } 


为 了 应 对 这 种 情况 ，TimerQueue 会 记 住 在 本 次 调用 到 期 Timer 期 间 
有 哪些 cancel0 请 求 ， 并 且 不 再 把 已 cancel0 的 Timeri 潜 加 回 timers_ 和 


activeTimers 当中 。 


198 void TimerQueue::reset(const std::vector<Entry>& expired, Timestamp now) 
199 { 


200 Timestamp nextExpire; 

201 

202 for (std: :vector<Entry>::const_iterator it = expired.begin(): 
203 1t != expired.end(t); ++it) 

204 { 

205 + ActiveTimer timer(it->second, it->second->sequence()); 

206 | if (it->second->repeat() 

207 + && cancelineTimers_.find(timer) == cancelinegTimers_.end(})) 
208 { 

209 it->second->restart(now): 

210 insert(it->second): 

211 } 

212 else 

213 { 

214 // FIXME move to a free list 

215 delete it->second:; 

216 } 

217 } 


reactor/sl1/TimerOQvueue.cc 


注意 TimerQueue 在 执行 L170 时 没有 检查 Timer 是 人 否 已 撤销 ， 这 是 
为 TimerQueue::cancel() 并 不 提供 strong guarantee。 
TimerQueue::getExpired() 和 TimerQueue::insert() 均 增加 了 与 activeTimers_ 
有 关 的 处 理 ， 此 处 从 略 。 


8.12 TcpClhient 


有 了 Connector，TcpClient 束 不 难 实现 了 ， 它 的 代码 与 TcpServer 其 
至 有 几 分 相似 《都 有 newConnection 和 removeConnection(0) 这 两 个 成 员 函 
数 ) ， 只 不 过 每 个 TcpClient 只 管理 一 个 TcpConnection。 代 人 码 从 略 ， 此 处 
谈 几 个 要 反 : 


TcpClient 有 具备 TcpConnection 断 开 之 后 重新 连接 的 功能 ， 加 上 
Connector 具 备 反 复 答 试 连接 的 功能 ， 因 此 客户 疹 和 服务 端的 局 动 顺 序 无 
天 蛇 要 。 可 以 先 局 动 客户 闹 ， 一 旦 服务 靖 司 动 ， 半 分 钟 之 内 即 可 恢复 连 


务 问 可 以 重 局 ， 客 户 册 也 会 目 动 重 连 。 

:连接 断 开 后 初次 重 试 的 延迟 应 该 有 随机 性 ， 比 方 说 服务 端 朋 泪 ， 
它 所 有 的 客户 连接 同时 断 开 ， 然 后 0.5s 之 后 同时 再 次 发 起 连接 ， 这 样 既 
可 能 造成 SYN 丢 包 ， 也 可 能 给 服务 问 市 来 短期 大 负载 ， 影 响 其 服务 质 
量 。 因 此 每 个 TcpClient 应 该 等 竺 一 段 随 机 的 时 间 (0.5~~2s，， 再 重 试 ， 
避免 拥 罕 。 

:发 起 连接 的 时 候 如 果 发 生 TCP SYN 于 包 ， 那 么 系统 默认 的 重 试 间 
也 是 3s， 这 期 间 不 会 返回 错误 码 ， 而 且 这 个 间隔 似乎 不 容易 修改 。 如 果 
需要 缩短 间隔 ， 可 以 再 用 一 个 定时 吉 ， 在 0.5s 或 1s 之 后 发 起 另 一 次 连接 
。 如 果 有 需求 的 话 ， 这 个 功能 可 以 做 到 Connector 中 。 

:目前 本 市 实现 的 TcpClient 没 有 充分 测试 动态 增 减 的 情况 ， 也 就 是 
说 没有 充分 测试 TcpClient 的 生命 期 比 EventLoop 短 的 情况 ， 特 别 是 没有 
充分 测试 TcpClient 在 连接 建立 期 间 析 构 的 情况 。 编 写 这 方面 的 单元 汕 试 
多 半 要 用 到 $12.4 介 绍 的 技术 。 


注意 目前 muduo 0.8.0 采 用 shared_ptr 来 管理 Connector， 因 为 在 编写 


这 部 分 代码 的 时 候 TimerQueue 疝 不 文 持 cancel0 操 作 。 将 来 muduo 1.0 会 
在 充分 测试 的 醒 提 下 改 用 这 里 展示 的 人 简洁 的 实现 。 


8.13 epoll 


epoll(4) 是 Linux 独 有 的 高 效 的 IO multiplexing 机 制 ， 它 与 poll(2) 的 不 
同 之 处 主要 在 于 poll(2) 每 次 返回 整个 文件 反 述 符 数 组 ， 用 尸 代码 需要 授 
历数 组 以 找到 哪些 文件 描述 符 上 有 IO 事件 《上 见 此 处 的 
Poller::fillActiveChannelsO0) ， 而 epoll_wait(2) 返 回 的 是 活动 fd 的 列表 ， 
南 要 过 历 的 数组 通 币 会 小 得 多 。 在 并 及 连接 数 较 大 而 活动 连接 比例 不 高 
肝 ，epoll(4) 比 poll(2) 更 局 效 。 

本 节 我 们 把 epoll(4) 封 装 为 EPoller class， 它 与 88.1.2 的 Poller class 具 
有 完全 相同 的 接口 。muduo 实 际 的 做 法 是 定义 Poller 基 类 并 提供 两 份 实现 
PollPoller 和 EPollPoller。 这 里 为 了 人 简单 起 见 ， 我 们 直接 修改 EventLoop， 
只 需 把 代码 中 的 Poller 奉 换 为 EPoller。 

EPoller 的 关键 数据 结构 如 下 ， 其 中 events_ 不 是 你 存 所 有 关注 的 fd 列 
而 是 一 次 epoll_wait(2) 调 用 返回 的 活动 fd 列表 ， 它 的 大 小 是 目 适 应 


typedef std::vector<struct epoll_event> EventList:; 
typedef std: :map<int, Channel*> ChannelMap: 

int epollfd_; // ::epoll_create() 
EventList events_: 

channelMap channels_:; 


struct epoll_event 的 定义 如 下 ， 注 意 epoll_data 是 个 union，muduo 使 
用 的 是 其 ptr 成 员 ， 用 于 存放 Channel*， 这 样 可 以 减少 一 步 look up。 


typedef union epoll_data 
{ 
VD1DO 大 Ptr ; 
int fd; 
Uint32_t U32: 
U1Nt64 t U64; 
} epoll]_data_t: 


struct epoll]_event 
ff 

uint32_t events.; /* EpOll events */ 

epoll_data_t data: /:* User data variable */ 
}; 

为 了 减少 转换 ，muduo Channel 没 有 目 己 定义 IO 事件 的 稼 量 ， 而 是 
直接 使 用 poll(2) 的 定义 (POLLIN、POLLOUT 等 等 ) ， 在 Linux 中 它们 
和 epoll(4) 的 第 量 相等 。 


reactor/sl $/EPoller.cc 
23 /A/ On Linux, the constants of poll(2) and epoll(4) 
24 /i are expected to be the same. 
25 BOOST_STATIC_ASSERT(EPOLLIN == POQOLLIN); 
26 BOOST_STATIC_ASSERT(EPOLLPRI == PQOLLPRI):; 
27 BOOST_STATIC_ASSERT(EPOLLOUT == POLLOUT):; 
28 BOOST_STATIC_ASSERT(EPOLLRDHUP == POLLRDHUP) ，; 
29 BOOST_STATIC_ASSERT(EPOLLERR == POLLERR): 
30 BOOST_STATIC_ASSERTC(EPOLLHUP == PQOLLHUPY): 


reactor/sl1 3/EPoller.cc 


EPoller::poll0 的 关键 代码 如 下 。L58 在 C++11 中 可 写 为 
events_.data0。L68 表 示 如 条 当前 话 动 名 的 数目 填 满 了 events ， 那 么 下 放 
就 尝试 接收 更 多 的 活动 fd。events_ 的 初始 长 度 是 
16 〈kInitEventListSize) ， 其 会 根据 程序 的 IO 迪 忙 程度 目 动 增长 ， 但 目 
前 不 会 目 动 收缩 。 
reactor/s1 3/EPoller.ce 


55 Timestamp EPoller::poll(int timeoutMs, ChannelList* activeChannels) 
56 寺 


57 int numEvents = ::epoll_wait(epollfd_, 

58 &xevents_.begin(), 

59 static_cast<int>(events_.size()), 
60 tlImeoutMs 1) ; 


61 Timestamp now(Timestamp: :now( 7) ); 
62 if (numEvents > 0) 


63 { 
64 LOG_TRACE << numEvents << " events happended": 
65 fillActiveChannels(numEvents, activeChannels): 
56 if timplicit_cast<size_t>{(numEvents) == events_.size()) 
67 { 
68 events_.resize(events_.size()*2): 
69 } 
70 } 
。 廿 、 口 

此 处 epoll_wait(2) 的 错误 处 理 从 略 。 
79 return mow; 
280 } 


reactor/s1 /EPoller.cc 


EPoller'::fillActiveChannelsO 的 功能 是 将 events_ 中 的 活动 fd 填 入 
activeChannels， 其 中 L90 一 L93 是 在 检 栓 invariant。 


- reactor/sl 3/EPoller.cc 
82 void EPoller::fillActivecCchannels(int numEvents, 


83 channelList* activeChannels) const 
84 { 
85 assert(implicit_cast<size_t>(numEvents) <= events_.size()): 
86 for (int 1 = 8@; i < numEvents; ++1) 
87 | 
88 channel* channel = static_cast<ChannelLx>(events_[LI].data.ptr)， 
89 #ifndef NDEBUG 
90 Int fd = channel->fd().; 
91 channelMap: :const_iterator it = channels_.find(fd): 
92 assert(it != channels_.end()); 
93 assert(it->second == channel): 
a4 #endif 
95 channel->set_revents(events_[i].events): 
36 activeChannels->push_back (channel): 
97 } 
98 } 
reactor/sl 3/EPoller.cc 


updateChannel0 和 removeChannel0 的 代码 从 略 。 因 为 epoll 是 有 状态 
的 ， 因 此 这 两 个 函数 要 时 刻 维护 内 核 中 的 f 弓 状态 与 应 用 程序 的 状态 相 
符 ，Channel::index0 和 Channel::set_indexO 被 挪用 为 标记 此 Channel 是 人 否 
位 于 epoll 的 关注 列表 之 中 。 这 两 个 函数 的 复杂 上 度 是 O(logN)， 因 为 Linux 
内 核 用 红 黑 树 来 管理 epoll 关 注 的 文件 描述 符 清单 。 

汕 试 程 序 无 须 修 改 ， 全 都 已 经 目 动用 上 了 epoll(4)。 

至 此 ， 一 个 基于 事件 的 非 阻塞 TCP 网 络 库 已 经 初 具 规模 。 


8.14 测试 程序 一 贤 


本 章 人 简要 介绍 了 muduo 的 实现 过 程 ， 是 一 个 具有 教学 示 光 意义 的 项 
目 ， 硕 望 有 助 于 读者 理解 one loop per thread 这 一 编程 模型 背后 的 实现 ， 
在 运用 时 更 加 得 心 应 手 。 如 果 对 本 章 代 但 有 疑问 ， 应 该 以 最 新 版 的 
muduo 源 人 为 准 。 

本 贡 役 有 配 僚 代码 ， 以 下 列 出 前 面 各 节 出 现 的 测试 代码 的 功能 。 


“88.0 ”s00/testl.cc ”在 两 个 线程 里 各 目 运行 一 个 EventLoop。 
.88.0 ”s00/test2.cc ”试图 在 非 1O 线 程 调 用 EventLoop::loop()， 程 序 朋 


:88.1 s01/test3.cc ”用 Channel 天 注 timerfd 的 可 斌 事件 。 
.88.2 ”s02/test4.cc ”TimerQueue 示 例 。 
“88.3 ”s03/test5.cc ” IO 线程 调用 EventLoop::runInLoop() 和 


EventLoop::runAfter( )。 
“88.3 ”s03/testb.cc ” 跨 线 程 调用 EventLoop::runInLoop() 和 
EventLoop::runAtfter()。 
“88.4 ”s04/test7.cc ”Acceptor 示 例 。 
“88.5 ”s05/test8.cc discard 服务 。 
“88.8 ”5s08/test9.cc ”echo 服 务 。 
:88.8 ”s08/test10.cc ”发 大 两 次数 据 ， 汕 试 TcpConnection::send()。 
.88.9 5s09/test11.cc ”chargen 服 务 ， 使 用 WriteCompleteCallback。 
“88.11 sl1/test12.cc ”Connector 示 例 。 
“88.12 ”s12/test13.cc ”TcpClient 示 例 。 


本 章 Acceptor、Connector、Reactor 等 术语 是 Douglas Schmidt 发 明 


的 ， 他 的 原始 论文 出 处 是 


http://www.cs.wustl.edu/~schmidt/PDF/Reactorl-9 9.pdf 
http://www.cs.wustl.edu/~schmidt/PDF/Reactor2-93.pdf 
“http://www.cs.wustl.edu/~schmidt/PDF/reactor-siemens.pdf 
http://Wwww.cs.wustl.edu/~schmidt/PDF/reactor-rules.pdf 
http://Wwww.cs.wustl.edu/~schmidt/PDF/Acceptor.pdf 
http://www.cs.wustl.edu/~schmidt/PDF/Connector.pdf 
“http://Wwww.cs.wustl.edu/~schmidt/PDF/Acc-Con.pdf 


我 在 一 遍 访 谈 - 中 谈 到 了 muduo 将 来 的 计划 : 1.0 厂 完善 单元 测试 ， 
基本 和 窗 新 各 种 code path， 特 别 古 各 种 Sockets API 出 错 情 况 的 测试 ， 以 及 
用 户 调用 与 IO 事件 的 交互 。2.0 版 刁 用 C++11， 特 别 是 rvalue reference 有 
资源 管理 的 便利 性 。 以 上 计划 中 的 厂 本 疝 无 明确 的 时 间 


注释 

1 http://pubs.opengroup.org/onlinepubs/007908799/xsh/poll.html 

2 通 各 原因 是 妆 口 被 占用 。 这 时 让 程序 异 关 退 出 更 好 ， 因 为 能 触发 监控 系统 报警 ， 而 不 
古 假 痛 正 党 运行 。 

3 http://static.usenlx.org/event/usenIix04/tech/general/brecht.html 

4 ”在 一 个 不 繁忙 (没有 出 现 消 明 堆 积 ) 的 系统 上 上， 程序 一 般 等 竺 在 poll(2) 上 ， 一 有 数据 到 
达 丈 会 立刻 唤醒 应 用 程序 来 谈 取 ， 那 么 每 次 read0 的 数据 不 会 超过 几 KiB (一 两 个 以 太 网 
frame) ， 这 里 64K 记 缓冲 足够 容纳 千 兆 网 在 500hs 内 全 速 收 到 的 数据 ， 在 一 定 意义 下 可 视 为 延迟 
市 宽 积 (bandwidth-delay product) 。 

5 见 此 处 脚注 的 例子 。 

6 http://enwikipedla.org/Wwiki/Nagles algorithm 


7 ”如 果 没 有 应 用 层 心 跳 ， 而 对 方 机 器 突然 断 电 ， 那 么 本 机 不 会 收 到 TCP 的 FIN 分 方 。 在 没 
有 发 送 消 恩 的 情况 下 ， 这 个 “连接 ”可 能 一 直 保 持 下 去 。 

8 sysctl 中 的 net.ipv4.ip_local_port_range， 以 及 /proc/sys/net/ipv4/ip local port range 。 

9 http://bitsup.blogspot.com/2010/12/accelerated-connection-retry-for-http.html 


10 http://www.oschina.net/question/28 61182 





第 3 部 分 
工程 实践 经 验 谈 


第 9 重 分布 式 系 统 工程 实践 


本 章 谈 的 分 布 式 系统 是 指 运行 在 公司 防火 墙 以 内 的 信息 基础 设施 
(infrastructure ) ， 用 于 对 外 《客户 ) 提供 联机 信息 服务 ， 不 是 针对 公 
司 员 工 的 办 公 目 动 化 系统 。 服 务 器 的 硬件 平台 是 多 核 Intel xX86-64 处 理 
人 锅 、 儿 十 GB 内 存 、 干 兆 网 互联 、 和 第 规 存储 、 运 行 Linux 操 作 系 统 。 系 统 
的 规模 大 约 在 几 十 台 到 几 百 台 ， 可 以 位 于 一 个 机 房 ， 也 可 以 位 于 全 球 的 
多 个 数据 中 心 。 只 有 两 台 机 器 的 双 机 容错 〈 热 备 ) 系统 不 是 本 章 的 讨论 
泄 围 。 服 务 程序 是 普通 的 Linux 用 户 进程 ， 进 程 之 间 通 过 TCP/IP 通 信 。 
特别 是 ， 本 章 不 考虑 分 布 式 存储 系统 ， 只 考虑 分 布 式 即时 计算 。 

本 章 不 谈 “ 企 业 级 开发 "， 也 束 是 以 隧 用 数据 库 为 存储 ， 使 用 了 商用 消 
息 中 间 件 MQ) 或 交易 中 间 件 〈Tuxedo) ， 故 障 转移 切换 (failover) 
用 VCS 等 商业 解决 方案。 也 不 谈 “ 高 性 能 计算 〈HPC) ”， 这 是 一 个 相对 
成 熟 的 领域 ， 通 间 以 MPI 为 编程 平台 。 并 行 算 法 对 延迟 有 奇 刻 要 求 ， 通 
党 来 用 InfiniBand 为 通信 方式 ， 不 是 常规 的 基于 以 太 网 的 TCP/IP 互 联 。 

先 谈 钱 ”每 台 机 桥 的 购买 成 本 是 几 万 元 人 民 币 ， 每 年 的 使 用 成 本 
以 一 万 元 计 〈 电 费 、 机 位 、 衬 调 、 网 管 ， 不 售 对 外 市 宽 ) 。 换 言 之 ， 本 
草 讨 论 的 是 运行 在 几 十 台 或 几 百 台 PC 服 务 嚣 (每 台 价 值 几 万 元 ) 上 的 
分 布 式 系统 ， 不 是 运行 在 几 台 高 问 服 务 右 〈 每 台 价 值 儿 十 万 旋 至 上 百 万 
元 ) 上 的 系统 。 换 言 之 ， 是 Google、Facebook、Amazon 那 种 风格 的 分 
布 式 系统 ， 不 是 IBM、Oracle、HPHhjscale up 系统 。 

在 这 种 用 commodity 人 硬件 《服务 右 和 了 网络) 搭建 的 分 布 式 系统 中 ， 
扩容 方式 主要 通过 增加 机 器 〈scale out) 进行 。 理 想 情 况 下 ， 系 统 架 构 
应 该 具备 线性 的 伸缩 性 ， 系 统 实现 应 该 让 “伸缩 ”具有 较 小 的 比例 系数 。 
不 妨 假定 同一 批 购 买 的 相同 用 途 的 机 右 具 有 相同 的 配置 ， 每 次 采购 总 是 
购买 性 价 比 最 融 的 机 型 。 服 务 媳 的 服役 期 一 般 不 超过 5 年 ， 因 为 一 台 5 年 
本 购买 的 旧 机 楷 在 消耗 相同 的 电能 的 情况 下 ， 提 供 的 处 理 能 力 只 有 新 机 
右 的 一 半 甚 至 更 少 ， 不 如 淘汰 它 再 买 新 机 丹 更 划算 。 

网 络 方面 ， 可 以 认为 同一 数据 中 心 的 任何 两 人 台 机 需 之 间 有 于 兆 市 
守 ， 和 营 用 的 做 法 是 采用 Clos/Fat-tree 网 络 拓 扑 !。TCP/IP 协 议 原 本 是 为 广 
域 网 设计 的 ， 但 数据 中 心里 的 网 络 特性 与 传统 广域网 不 同 :， 会 出 现 
TCP Incast 症 状 3:。 

也 就 是 说 ， 本 章 讨论 在 均 质 (homogeneous) 的 硬件 和 网 络 情况 下 
来 设计 系统 。 

具体 考虑 以 下 有 代表 性 的 两 种 情况 5:， 假 设 每 人 台 机 髓 每 年 的 固定 文 


出 征 1 万 元 ， 再 加 上 购买 成 本 : 


一 台 低 端的 价值 2 万 元 的 服务 器 ， 使 用 寿命 4 年 ， 平 均 每 年 支出 1.5 
万 元 。 

一 台中 端的 价值 5 万 元 的 服务 器 ， 预 期 服役 3 年 ， 平 均 每 年 支出 2.7 
万 元 。 


为 了 便于 计算 假定 一 台 服 务 右 一 年 的 使 用 成 本 为 3 万 元 ， 来 做 一 
个 非常 粗略 的 估算 : 


口 寺 


:一 个 普通 程序 员 ， 公 司 每 月 支出 2 万 元 *， 一 年 24 万 ， 相 当 于 8 人 台 服 


:一 个 高 级 程序 员 ， 公司 


口 寺 


月 支出 3 万 元 ， 一 年 36 万 ， 相 当 于 12 台 服 


六 


一 个 高 级 程序 员 花 3 个 月 时 间 ， 把 系统 性 能 提高 了 20% ， 公 司 的 成 
本 是 9 万 元 ， 大 约 相 当 于 3 人 台中 闫 服务 噩 一 年 的 使 用 费 。 如 果 原 来 有 5 合 
服务 器 ， 人 性 能 提高 20% 束 意味 着 能 节约 1 台 服 务 器 ， 这 不 见得 划算 。 如 
果 有 50 台 服务 器 ， 节 约 了 10 台 ， 有 可 能 划 得 来 。 如 果 有 500 台 服务 器 ， 
节约 了 100 台 ， 肯 定 划 得 来 。 可 见 在 需要 提高 系统 处 理 能 力 的 时 候 ， 优 
化 代码 不 见得 是 首要 的 ， 有 时 候 买 新 机 器 更 划算 。 


使 件 与 操作 系统 ”这 种 几 万 元 级 别 的 x86 服 务 规 的 一 般配 置 是 : 


. 双 路 多 核 CPU， 一 共 8 一 16 核 〈 不 含 超 线程 ) 。 
: 几 十 GB ECC 内 存 。 

: 几 块 便 盘 :， 容 量 几 百 GB 全 儿 TB。 

` 几 余 电 源 。 

:于 兆 网 卡 (GbE) 或 万 兆 网 卡 (10GbE) 。 


这 种 级 别 的 人 硬件 的 可 靠 性 抑 $9.2， 但 是 可 以 想见 ， 不 能 指望 单机 有 具 
Me 分 布 式 系统 的 可 靠 性 不 能 依赖 “ 便 件 不 会 俘 机 ”这 
到 了 

这 种 服务 如 运 行 的 通 党 是 免费 的 Linux 发 行 版 。 为 什么 不 用 
Windows 或 其 他 商业 系统 ? 假设 有 200 万 元 服务 器 硬件 投资 ， 可 以 买 100 
人 台 2 万 元 的 服务 器 。 如 果 用 Windows Server 标 准 版 ， 每 台 机 器 增加 3000 元 
成 本 ， 只 能 买 87 台 服务 占 。Linux 方 案 的 便 件 raw 人 处 理 能 力 比 其 局 15%. 


现在 我 们 面临 的 不 是 windows 与 Linux 谁 快 的 问题 ， 而 是 Windows 能 人 否 比 
Linux 快 15% 以 上 ， 让 投资 回报 合理 。 

在 价值 几 万 元 这 个 级 别 的 服务 器 上 ， 我 认为 Windows 比 Linux 快 是 
不 成 并 的 。 本 书 讨论 的 分 布 式 系统 对 操作 系统 的 功能 需求 是 : 


- 官 理 十 几 个 核 上 的 任务 调度 。 

官 理 几 十 GB 物理 内 存 的 分 配 释 放 ，。 
驱动 一 两 个 干 兆 或 万 兆 网 卡 。 
驱动 十 来 块 普通 服务 右 级 的 便 盘 。 


Linux 内 核 可 以 很 好 地 完成 以 上 这 些 任务 ， 我 不 认为 其 他 操作 系统 
能 把 这 几 样 普通 人 硬件 管 得 更 好 。 或 许 在 高 并 128 核 1TB 内 存 的 安 腾 服务 
器 上 Windows 表 现 更 佳 ， 但 这 惑 不 是 本 书 讨论 的 范围 了 。 既 然 操 作 系统 
yn 

Vr oo 

做 分 布 式 系统 一 个 有 意思 的 现象 : 公司 越 大 ， 技 术 能 力 越 强 ， 用 的 
机 器 越 便 宜 。 一 般 的 公司 会 购买 品牌 服务 器 ， 配 备 见 余 的 电源 和 网 卡 ， 
便 益 通 党 是 配置 为 RAID 5/6/10 等 阵列 ， 疝 用 SAN 存 储 也 不 少见 。 技 术 
领先 的 互联 网 公司 为 了 压 纵 成本， 往往 采 用 单 电 源 、 单 网 卡 ， 存 储 也 用 
一 两 块 普通 SATA 硬 盘 (并 日 不 用 RAID) ， 但 无 论 如 何 ， 使 用 的 还 是 服 
务 器 级 的 多 路 CPU 和 和 ECC 内存 。 有 的 公司 甚至 用 Intel Atom 或 ARM 来 
蔡 换 Xeon 服 务 器 ， 以 进一步 降低 能 耗 ， 但 是 由 于 可 靠 性 较 低 “〈 内 存 无 校 
验 ) ， 这 些 低 端 “ 服 务 器 ”* 通 沼 用 于 静态 cache 之 类 的 场合 。 


9.1 我 们 在 技术 良 潮 中 的 位 置 


持 机 服务 问 编 程 问 题 已 经 基本 解决 ” 编 瑟 噩 硅 吐 、 忆 并 友 、 局 性 
能 的 服务 闹 程 序 的 技术 已 经 成 熟 。 无 论 是 程序 设计 还 古 性 能 调 优 ， 虱 有 
成 熟 的 办 法 。 在 分 布 式 系统 中 ， 单 机 表现 出 来 束 是 一 个 网 口 
(89.7.3) ， 能 收发 消息 ， 全 于 它 内 部 用 什么 语言 什么 编程 模型 都 是 次 
要 的 。 在 满足 性 能 要 求 的 前 握 下 ， 应 该 用 尽量 徐 音 百 接 的 编程 方式 。 单 
机 的 扩 术 热点 不 在 于 提高 性 能 ， 而 在 于 解放 程序 员 的 生产 力 ， 例 如 牺牲 
少许 性 能 ， 用 更 易于 开 友 的 语言。 

在 编程 模型 方面 ， 分 布 式 对 象 已 被 淘汰 。 准确 地 说 十 远程 对 象 +， 
对 象 位 于 为 一 个 进程 (可 能 运行 在 为 一 台 机 右上 〉 ， 程 序 束 像 操作 本 地 
对 象 一 样 通过 成 员 函 数 调用 来 使 用 远程 服务 。 这 种 模型 的 本 质 难点 在 于 


容错 语义 。 假 设 对 象 所 在 的 机 器 坏 了 怎么 办 ? 已 经 及 起 但 尚未 返回 的 调 
用 到 后 有 没有 成 功 ? 调用 远程 对 象 的 method 应 该 是 阻 融 还 是 执 卉 第 呢 ? 
假设 持 有 对 象 引 用 的 机 旨 朋 尝 怎 么 办 ?对象 有 机 会 饭 回 收 吗 ?你 理解 并 
信得过 它 内 置 的 容错 与 对 象 迁 移 机 制 吗 ? 

20 世 纪 80 年 代 提 出 这 种 编程 模型 的 前 提 是 服务 占 的 可 菲 性 极 蜗 ， 有 
相当 强 的 容错 能 力 ， 几 了 乎 不 存在 失效 的 可 能 。 这 一 前 提 在 目前 的 分 布 式 
系统 开发 中 是 个 成立 的 ， 这 种 技术 适合 所 谓 的 企业 级 开 友 ， 不 适合 而 问 
业务 的 分 布 式 系 统 。 这 里 推荐 一 篇 Google 的 好 文 《Introduction to 
Distributed System Design》2。 其 中 的 点 睛 之 笔 是 : 分 布 式 系统 设计 ， 
征 design for failure。 设 计 分 布 式 系统 不 能 基于 铬 误 的 假 议 ?。 

大 规模 分 布 式 系统 处 于 扩 术 当 测 的 前 期 ”大 家 都 在 摸索 中 前 进 ， 
尚未 形成 一 尽 完 整 的 方法 论 。 霖 些 领 域 相 对 成 唤 一 些 《〈 分 布 式 非 结构 化 
存储 、 离 线 数据 处 理 等 ) ， 有 一 些 开 源 的 组 件 。 但 更 多 更 本 质 的 问题 

(正确 性 、 可 菲 性 、 可 用 性 、 容 错 性 、 一 致 性 〉 疝 没有 一 套 行 之 有 效 的 
方法 论 来 指导 实践 ， 有 有 的 只 是 一 些 相 对 零散 的 经 验 s。 有 人 开 玩 突 
说 :“ 我 不 知道 哪 种 方法 一 定 能 行 ， 但 是 知道 哪些 方法 是 行 不 通 的 。” 这 
或 许 正 是 我 们 这 一 阶段 的 真实 写照 ， 分 布 式 系 统 开发 还 处 于 “ 损 大 石头 
过 河 ” 阶 段 。 

市 面 上 分 布 式 系 统 方面 的 书籍 ， 大 多 谈 的 是 高 性 能 科学 计算 、 并 行 
算法 ， 或 者 示 些 分 布 式 算法 的 学 术 问 题 =， 这 些 书 对 面 癌 业务 的 分 布 陈 
系统 的 指导 意义 有 限 。 从 男 一 个 方面 讲 ， 面 试 一 个 “分 布 式 系统 的 职 
位 ”都 没有 公认 的 好 的 面试 题 *， 人 往往 只 能 从 项 目 经 历来 考察 应 聘 者 的 水 
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我 们 怎么 办 ? 少 在 浮 沙 筑 高 人 台 ， 只 用 成 熟 的 基础 设施 。 日 前 看 来 ， 
Linux、 多 线程 编程 、TCP/AP 网 络 编程 2 是 成 熟 的 ， 我 认为 没有 哪 
个 “C++ 分 布 式 中 间 件 > 是 成 熟 的 &。2000 年 ，Linux 和 多 线程 编程 都 不 成 
部 ，2004 年 Linux 2.6 内 核 支持 epoll 和 NTPL，Linux 服 务 端 多 线程 编程 基 
本 成 束 。1990 年 ，TCP/AP 网 络 编程 不 成 熟 ;， W. Richard Stevens 的 传世 经 
典 《TCPAP 话 解 》 和 《UNIX 了 网 络 编程 〈 第 2 版 ) 》 分 别 在 1993 和 1998 年 
出 版 ， 网 络 编程 基本 成 熟 。 现 在 ， 如 果 要 学 习 Linux 性 能 调 优 、 多 线程 
编程 、 网 络 编程 、TCP/P 协 议 等 等 知识 ， 都 能 找到 非常 好 的 书籍 和 网 上 
资源 ,， “能 够 靠 读书 、 看 文章 、 读 代码 、 做 练习 学 会 的 东西 没什么 门槛 ” 


闻 这 也 十 本 十 主讲 Linux 多 线程 TCP 网 络 编程 的 车 要 原因 。 但 是 这 中 
离 设 计 分 布 式 系统 还 有 巳 大 的 鸿沟 ， 本 半 有 的 一 些 个 人 经 验 或 许 能 让 读者 
稍 做 少 走 一 些 桦 路 。 


9.1.1 分布 式 系统 的 本 质 困 难 


Jim Waldo 等 人 写 的 《A Note on Distributed Computing》: 一针见血 
地 指出 分 布 式 系统 的 本 质 困 难 在 于 partial failure。 

拿 我 们 玖 人 悉 的 单机 和 分 布 式 做 个 对 比 ， 初 看 起 来 ， 分 布 式 系统 很 像 
是 放大 了 的 单机 。 一 台 机 器 通 过 总 线 把 CPU、 内 存 、 扩 展 卡 (网 卡 和 磁 
盘 控制 项 ) 连 到 一 起 2， 一 个 分 布 式 系统 通过 网 络 把 服务 进程 连 到 一 
起 ， 了 网络 束 是 总 线 。 这 种 看 法 对 吗 ? 单机 和 分 布 式 的 区 别 完 竞 在 哪里 ? 
能 不 能 按照 编写 单机 程序 的 思路 来 设计 分 布 式 系统 ? 

分 布 式 系统 不 是 放大 了 的 单机 系统 ， 根 本 原因 在 于 单机 没有 部 分 故 
障 (partial failure) 一 说 。 对 于 单机 ， 我 们 能 轻易 判断 菏 个 进程 、 荣 个 
便 件 是 售 还 在 正 闻 工作 。 而 在 分 布 式 系统 中 ， 这 古 无 解 的 ， 我 们 无 法 及 
时 得 知 另 外 一 侣 机 需 的 死活 ， 也 无 法 把 机 需 朋 误 与 网 络 故障 区 分 开 来 = 
。 这 正 是 分 布 式 系统 与 单机 的 最 大 区 列 。 

例如 一 次 RPC 调 用 超时 ， 调 用 方 无 法 区 分 


: 古 网 络 故 障 还 是 对 方 机 硕 朋 温 ? 
软件 还 是 便 件 销 误 ? 

:是 去 的 路 上 出 错 还 是 回来 的 路 上 出 错 ? 
对方 有 没有 收 到 请 求 ， 能 不 能 重 试 ? 


在 本 机 调用 成 员 函 数 根本 不 会 出 现 这 种 情况 2。 这 不 是 RPC 的 过 钳 ， 而 
是 分 布 式 系统 固有 的 特点 ， 此 处 把 RPC 换 成 网 络 消 息 的 请 求 啊 应 也 是 一 
样 的 。 人 简单 地 说 ， 单 机 的 编程 经 验 不 能 直接 父 用 在 分 布 式 系统 上 ， 分 布 
式 系统 需要 用 单独 的 理论 来 分 析 #。 

单机 《集中 却 ) 与 分 布 式 的 根本 区 别 在 于 进程 的 地 址 空间 (address 
space) 是 一 个 还 是 多 个 ， 对 于 分 布 式 系 统 来 说 ， 如 果 把 进程 比喻 
成 “人 ”(83.1) ， 那 么 这 些 * 人 ?不 是 在 一 个 屋子 里 交谈 ， 而 是 通过 电话 
会 议 交 谈 。 或 者 茯 比 成 一 群 计 人 在 屋子 里 交谈。 重要 的 区 询 和 在于， 通过 
电话 会 议 交 谈 的 时 候 只 能 听 到 别人 的 发言 ， 如 果 有 人 离 场 ， 其 他 人 不 会 
立刻 得 知 ， 通 第 只 能 通过 “一 段 时 间 没 有 有 发言? 或者“ 叫 他 的 名 字 没 有 回 
丛 ” 来 间接 判断 茶 人 已 经 离 场 。 但 是 一 个 人 被 其 他 事情 吸引 〈 和 短暂 过 
载 ) 或 开 小 甜 《网 络 桔 时 故障 ) 也 会 表现 为 “一 段 时 间 没 有 发 言 ?或 
者 “ 叫 他 的 名 字 没 有 回答 ”， 其 他 人 无 法 区 分 这 两 种 情况 。 换 言 之 ， 进 程 
间 通 过 收发 消 明 来 交换 信息 ， 一 个 进程 看 不 到 别 的 进程 的 数据 ， 也 不 能 
立刻 判断 别 的 进程 的 死活 ss。 当 然 ， 这 个 比喻 本 里 也 有 问题 ， 它 假设 了 
同时 性 和 事件 顺序 的 确定 性 。 一 个 人 说 的 话 会 立刻 被 其 他 人 昕 到， 甲乙 


两 个 人 先后 说 话 ， 那 么 其 他 人 上 听 到 的 顺序 都 是 先 甲 后 乙 。 这 在 分 布 式 系 
统 中 是 不 成 立 的 ， 见 此 处 的 例子 。 

分 布 式 系统 设计 以 进程 为 基本 单位 ， 先 确定 有 哪些 功能 ， 需 要 做 几 
个 程序 ， 每 个 程序 的 职责 和 它 掌握 的 数据 。 然 后 安排 这 些 程序 在 多 人 台 机 
器 上 的 分 布 ， 规 划 每 个 程序 起 几 个 进程 。 进 程 之 间 的 传输 协议 很 容易 确 
定 ， 使 用 TCP 长 连接 即 可 (83.4) 。 比 较 费 脑筋 的 是 进程 之 间 的 通信 协 
议 ， 即 发 送 哪 些 消 息 ， 每 条 消息 包含 哪些 内 容 。 随 着 系统 的 演化 ， 消 息 
的 内 容 也 会 变化 ， 因 此 要 提前 做 好 准备 (89.6) 。 


9.1.2 分布 式 系统 是 个 险恶 的 问题 


险恶 的 问题 (wicked problem ) 的 意思 是 : 你 必须 首先 把 这 个 问 
题 “ 解 决 ” 一 表 ， 以 便 能 够 明确 地 定义 它 ， 然 后 再 解决 一 表 。 在 实现 一 个 
系统 之 前 ， 很 可 能 无 法 预料 哪个 技术 方案 行 得 明 。 这 里 举 两 个 虚构 的 例 
于 说 明 其 险恶 。 

假设 有 一 个 缩 略 图 (Thumbnailer) 服务 ， 它 的 功能 是 将 用 户 提 供 的 
数 但 照片 按 比 例 缩小 为 固定 尺寸 ， 这 是 一 个 典型 的 无 状态 服务 。 它 的 实 
现 很 们 单 ， 不 过 是 给 ImageMagick 的 convert(1) 命 令 提供 一 层 网 络 封 站。 
计算 缩 略 图 是 一 项 相当 耗 时 的 任务 z2， 平 均 每 张 图 片 用 时 0.5s， 一 人 台 8 核 
服务 器 每 秒 只 能 处 理 16 张 图 片 。 相 比 之 下 ， 一 台 8 核 Web 服 务 器 可 支撑 
每 秒 8000 座 HTTP 请 求 啊 应 ， 平 均 每 个 HTTP 请 求 只 占用 1ms CPU 时 间 。 
为 了 避免 压缩 照 记 影响 Web 服 务 硕 的 性 能 ， 我 们 把 生成 盎 略图 功能 移 到 
单独 的 服务 器 中 。 系 统 中 有 多 台 Web 服 务 器 ， 连 接 到 多 台 Thumbnailer 服 
务 项 。 现 在 的 问题 是 ， 我 们 访 如 何 做 负载 均衡 ? 

第 一 个 想法 是 每 台 Web 服 务 右 只 和 一 台 Thumbnailer 打 交道 ， 通 过 
Web 本 冉 的 负载 均衡 来 让 图 厂 压 缩 请 求 均匀 地 分 散 到 多 个 Thumbnailer 
上 上 。 如 图 9-1 所 示 的 两 种 做 法 。 

Web Server A Thumbnailer ] Web Server A 


Thumbnailer ] 
Web Server B | Thumbnailer 2 Web Server B 


Web Server C = Thumbnailer 3 Web Server C 


Web Server D = [humbnailerd4 Web Server DD 


图 9-1 
这 种 做 法 足够 简单 ， 但 是 Web 负 载 从 短期 来 看 是 非 均匀 的 ， 具 有 突 


Thumbnailer 2 





发 性 (burst) 。 假 如 某 个 用 户 通 过 某 一 个 Web 服务 器 上 传 了 一 堆 照 片 ， 
那么 在 现在 这 个 设计 中 ， 会 有 一 个 Thumbnailer 满 负 衍 ， 而 其 他 
Thumbnailer 都 内 着 ， 这 不 利于 快速 啊 应 。 

日 然 地 ， 我 们 让 每 个 Web 服 务 占 部 可 以 和 每 个 Thumbnailer 服 务 妖 打 
交道 ， 以 期 充分 均匀 地 分 散 某 一 Web 服 务 器 的 突 发 负载 ， 形 成 了 如 图 9- 
2 所 示 的 连接 关系 。 那 么 负载 均衡 又 该 怎么 做 呢 ? 


Web Server D 





有 几 个 实践 证 明 不 徘 证 的 做 法 : 


1. 每 个 Web 服 务 器 轮流 问 Thumbnailer{1,2,3,...,N} 发 送 请 求 ， 结 果 
发 现 Thumbnailer 的 负载 像 走马 灯 一 样 移动 ， 因 为 Web 服 务 需 先 集中 火力 
攻击 第 1 人 台 Thumbnailer， 然 后 册 集 中 攻击 第 2 台 Thumbnailer， 如 此 等 


2. 既然 轮流 发 送 请 求 不 合适 ， 束 玉 用 随机 的 方式 选择 
Thumbnailer， 随 机 数 的 种 子 用 时 则 初始 化 。 但 是 Web 服 务 占 几乎 同时 局 
动 ， 它 们 用 于 初始 化 的 种 子 相 同 ， 产 生 的 伪 随 机 序列 也 相同 ， 造 成 与 第 
1 种 做 法 相同 的 “潮涌 ”现象 。 


前 面 这 两 条 都 是 开 坏 控制 ， 下 面 考 虑 闭环 控制 ， 让 Web 服 务 右 知道 
Thumbnailer 的 实际 人 负载， 并 从 中 选 出 负载 最 轻 的 来 发 送 请 求 。 


3. 让 Thumbnailer 加 Web 服务 亏 定期 汇报 当前 负载 情况 ， 这 种 做 法 
的 缺点 是 消 恩 数目 与 服务 器 数目 呈 平 方 天 系 ， 有 M 人 台 Web 服 务 嚣 ，NN 台 
Thumbnailer 服 务 硕 ， 每 个 周期 要 及 送 MxN 条 消息 ， 伸 缩 性 不 佳 。 而 
日 “人 负载”" 强 弱 本 里 也 不 易 定 义 。 

4. 通过 某 个 集中 的 负载 均衡 器 (load balancer) 来 收集 并 分 发 负载 
情况 ， 好 处 是 把 消息 数目 降 为 M +N， 但 是 造成 了 单 点 故障 (Single 
Point of Failure, SPoF) 。 


这 几 个 想法 初 看 上 去 都 挺 合 理 ， 但 是 仔细 一 分 析 却 有 各 目的 问题 。 
这 里 提出 一 种 完全 基于 客户 痢 视 角 的 负载 均衡 案 略 。 

第 3 和 第 4 两 种 方案 是 基于 Thumbnailer 服 务 的 当前 负载 的 反馈 控制 |， 
每 次 新 请 求 都 发 回 当 前 负载 最 轻 的 服务 山 。 那 么 我 们 遇 到 的 一 个 更 本 质 
问题 是 ， 如 何 定 义 服 务 问 的 负载 ?或 者 说 Thumbnailer 如 何 算出 上 自己 当前 
负载 的 单 值 ， 以 供 客 户 问 排 序 ? 其 当前 负载 值 与 本 机 CPU 使 用 率 、 内 存 
占用 率 、 人 硬盘 剩 余 空 间 比例 、 网 络 刺 宽 使 用 率 是 什么 关系 ?各 部 分 权重 
大 小 如 何 分 配 ? 有 没有 考虑 同时 运行 在 同一 台 机 右上 的 其 他 服务 进程 也 
会 消耗 资源 ? 

我 们 注意 到 ， 啊 应 客户 疹 〈 这 里 是 Web 服务 需 ) 请 求 的 快慢 直接 反 
应 了 服务 凯 (Thumbnailer) 的 负载 。 客 户 闪 根本 无 顷 关 心服 务 问 负载 的 
具体 情况 〈GCPU 人 负载、 网络 市 宽 负 载 、 内 存 使 用 率 等 ) ， 只 需要 看 它 啊 
应 目 己 请 求 的 速度 束 可 以 判断 应 访 把 下 一 个 请 求 发 给 哪个 服务 关 。 有 具体 
地 说 是 选择 活动 请 求 〈 已 经 及 出 请 求 而 疝 未 收 到 啊 应 ) 数目 最 少 的 那个 
服务 端 。 这 样 一 来 铬 户 问 无须 定 期 但 询 各 个 服务 剖 的 负载 ， 只 要 根据 日 
己 以 往 的 调用 情况 束 能 做 出 判断 。 这 个 做 法 大 大 简化 了 系统 的 设计 。 

客户 疹 把 服务 闪 看 成 一 个 循环 队列 ， 在 选择 服务 疹 时 ， 从 上 次 调用 
的 服务 疹 的 下 一 个 位 置 开 始 壳 历 ， 找 出 负载 最 轻 的 服务 病 。 每 次 明 历 的 
起 点 选 在 上 次 人 退 历 终 点 的 下 一 位 置 ， 这 是 为 了 在 服务 问 负 载 相等 的 情况 
下 轮 汶 使 用 各 个 服务 咒 ， 使 各 服务 问 负 载 大 致 相当 。 算 法 如 下 ， 其 中 
last 表 示 上 次 选取 的 服务 疹 编 号 。 


int selectLeastLoad(const vector<Endpoint>& endpoints, intx*x last) 
{ 

int N = endpoints.size(): 

int start = (xlast + 1) % N; // 每 次 从 前 次 调用 的 下 一 位 置 找 起 

int min_load_idx = start: // 从 start 开始 找 负载 最 轻 的 服务 端 
int min_load = endpoints[start].active_reqs(): // 活动 请 求 数 


FT = 


for (int i = 6; 1 < N: ++iyY { 
int idx = (start + 1) % N; 
int load = endpoints[idx].active_regqs(): // 负载 即 活 动 请 求 数目 


if (load < min_loady { // 找到 更 小 的 负载 
min_load = load.; 
min_load_idx = lidx: 
if (min_load == 8)  // 已 经 找到 最 小 负载 ， 无 须 再 找 
break: 


】 
} 


x*last = min_load_idx: 
return min_load_idx: 


举例 来 说 ， 有 4 人 台 Thumbnailer 服 务 磊 。 在 某 一 时 刻 ， 客 户 六 Web 
Server A 同 这 4 台 服 务 占 已 发 起 而 尚未 结束 的 请 求 《 即 前 述 “ 活 动 请 求 ”) 
的 数目 分 别 为 93、2、3、4，Thumbnailer 2 负载 最 轻 ， 那 么 这 时 新 的 图 睛 
压缩 任务 将 发 给 Thumbnailer 2。 在 下 一 次 请 求 到 来 时 ， 活 动 请 求 数 目 分 
列 为 93、3、3、3， 客 户 尹 从 Thumbnailer 2 的 下 一 位 置 ( 即 Thumbnailer 
3) 开始 查找 可 用 的 服务 疾 ， 没 有 哪个 服务 新 的 负载 比 Thumbnailer 3 更 
轻 ， 因 此 新 的 图 片 压缩 任务 将 发 给 Thumbnailer 3。 

在 最 初 的 两 种 反馈 控制 设计 中 (3 和 4) ， 是 站 在 服务 器 的 角 上 度 评 估 
服务 硕 的 当前 负载 。 茶 个 服务 程序 的 “当前 负载 ”是 一 个 全 局 数据 ， 由 服 
务 闫 产生， 每 个 客户 闪 都 硕 望 这 个 全 局 数据 随时 保持 更 新 。 而 在 新 的 设 
计 中 ， 客 户 疹 根本 不 用 关心 这 个 全 局 数据 ， 只 要 从 目 己 的 角度 看 ， 哪 个 
服务 需 负 载 轻 、 等 街 啊 应 的 活动 请 求 少 ， 束 把 下 一 个 请 求 肥 给 哪个 服务 
厂 。 各 个 客户 内 看 到 的 服务 噩 负载 情况 可 能 不 套 相同 ， 不 过 从 统计 上 
看 ， 负 载 仍然 是 均匀 分 配 的 ， 实 验 结果 很 好 地 支持 了 这 一 点 。 新 的 设计 
规避 了 分 布 式 系统 中 保持 全 局 数据 一 致 性 这 个 老大 难 问 题 。 


Server 用 于 初始 化 last 值 的 随机 数 种 子 应 该 有 足够 的 随机 性 ， 例 如 可 以 包 
括 卫 地 址 、MAC 地 址 、 当 前 时 间 、PID 号 等 等 。 

这 个 人 简单 的 负载 均衡 案 略 在 实际 应 用 中 获得 了 民 好 的 效果。 

第 二 个 例子 ， 分 布 式 系统 的 险恶 之 处 还 在 于 时 间 与 事件 顺序 违反 直 
启 (具有 狭义 相对 论 效应 ， 每 个 本 地 观察 者 有 自己 的 时 钟 和 事件 顺序 2 
) ， 因 为 消 奶 传递 的 延 时 是 不 固定 的 。 

比方 说 ， 顾 客 同 商店 订购 了 一 件 阐 品 (0:order) ， 商 店 先 是 确认 订 
单 已 收 到 〈a:ack) ， 再 通知 仓库 发 贷 (b:ship)〉 ， 随 后 立刻 通知 客户 贷 
物 已 发 出 (c:confirm) ， 最 后 客户 收 到 货物 〈d:deliver) 。 消 息 流 程 如 
图 9-3 所 示 。 


b:ship 









| Warehouse 


c:confirm oe 


SA 
Customer 


图 9-3 


按照 弟 规 的 想法 ，a、c、d 这 3 条 消 居 发 运 的 顺序 是 明确 的 ， 那 么 
Customer 收 到 消息 的 顺序 也 应 该 是 a、c、d。 但 是 在 分 布 式 系统 中 ，a、 
c、d 这 3 条 消息 到 达 Customer 的 顺序 有 6 种 可 能 。 即 便 Shop 与 Customer 采 
用 一 个 TCP 连 接 通 信 ， 伍 证 a 先 于 c 到 达 ， 那 么 Customer 收 到 这 3 条 消 妃 仍 
然 有 3 种 可 能 的 顺序 : 


由 于 a、<c 与 d 由 两 个 不 同 的 TCP 连 接 发 送 ， 它 们 之 间 没 有 确定 的 先 
后 关系 。 
司 样 的 道理 ， 如 果 客 户 端 往 Master 发 出 一 个 请 求 ，Master 指 定 某 个 
Work 来 完成 任务 ，Worker 把 计算 结 末 及 给 客户 端 ， 消 居 流 程 如 图 9-4 所 
外。 


|: request 















Client 





2: response 
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图 9-4 


那么 “4:result2 完 全 有 可 能 先 于 “2:response” 到 达 客 户 端 ， 因 为 TCP 重 传 的 
首次 间隔 是 200ms， 如 果 发 送 “2:response” 的 时 候 发 生 了 重 传 ， 那 么 它 会 
比 没 有 重 传 的 “4:result” 更 晚 到 达 客 户 产 。 网 络 上 消息 传递 的 延迟 没有 上 
界 ， 完 全 有 可 能 出 现 后 及 人 乞 至 的 情况 。 客 户 闪 程序 必须 预见 到 并 能 正确 
应 对 这 种 乱 序 的 情况 。 

另外 ，Client 也 没有 办 法 判断 “4:result* 和 “2:response” 的 发 送 哪 个 在 
前 、 哪 个 在 后 ， 即 便 Master 和 Worker 都 在 消息 中 加 上 发 送 时 间 玲 

(timestamp ) 。 这 是 因为 分 布 式 系 统 中 每 台 机 需 有 目 己 的 本 地 时 钟 ， 
Master 和 Worker 的 时 钟 之 间 表 定 是 有 误 短 的， 而 Client 并 不 知道 它们 的 
时 间 差 多 少 。 

在 局 域 网 内 ， 消 奶 的 传输 延 人 运 不 能 人 通过 发 送 方 和 接收 方 时 间 稚 的 到 
值 算 出 来 。 因 为 在 局 域 网 中 ， 虽 然 NIP 对 时 的 精度 可 以 达到 1 坚 秒 之 
内 ， 但 消息 的 延迟 本 身 也 在 1 至 秒 以 内 。 测 量 值 和 未 知 系统 误 乔 2 在 同一 
量 级 ， 测 量 结果 是 无 意义 的 。 必 要 的 时 候 我 们 可 以 移 测 量 两 合 机 器 之 间 
的 时 间 甜 ， 用 来 修正 延迟 测量 的 结果 〈87.9) 。 


9.2 ”分 布 式 系统 的 可 靠 性 浅说 
本 节 谈 谈 我 对 分 布 式 系统 可 靠 性 的 理解 。 要 谈 可 靠 性 ， 必 须要 谈 基 


本 指标 tyrps 《平均 无 故障 运行 时 间 #， 单 位 通常 是 小 时 ) 。tMrpr 与 可 
徘 性 的 关系 如 下 ， 其 中 t 是 系统 运行 时 间 。 





\ z | 
Reliability = exp(— 
: LMTBF 


按照 上 式 ， 当 t 二 tyrpgF 时 ， 系 统 的 可 徘 度 为 36.8% .也 惑 是 说 当 系 统 连 
续 运 转 tMTBF 这 么 长 时 间 后 ， 发 生 故 障 的 概率 为 63.2% ， 见 图 9-5 中 的 指 
数 曲 线 。 


100% 必 





50.0% 
36.8% 
13.5% ) 
O 3 
MTBFE 
图 9-5 


图 9-5 的 横 坐 标 为 tyrpE 的 倍数 ， 纵 坐标 为 可 靠 度 。 在 粗略 估算 的 时 
候 ， 可 以 用 直线 代替 曲线 ， 达 到 twrper 时 系统 发 生 故 障 的 概率 为 50%% 
(图 9-5 中 的 实 线 ) 或 100% (图 9-5 中 的 虚线 ) 。 如 果 要 粗略 估算 短期 可 
靠 性 ， 应 该 用 图 9-5 中 的 虚线 ， 它 是 指数 曲线 在 t 王 0 附近 的 一 阶 近似 《和 侍 
率 相等 ， 为 -1) 。 在 估算 可 靠 性 的 时 候 ， 一 两 倍 的 差距 无 伤 大 雅 ， 因 为 
tMTBF 本 喘 只 是 平均 数 ， 而 设备 损坏 是 非 均匀 的 2。 

{MTPF 与 使 用 寿命 无 关 。 便 盘 的 至 命 通 党 是 3~5 年 ， 但 其 标 称 HtMTpr 
征 100 万 小 时 ， 即 114 年 。 这 两 个 数字 并 不 站 盾 ，twTreF 为 100 万 小 时 ， 意 
味 着 如 果 有 1 万 块 硬 盘 同 时 运行 ， 那 么 平均 每 200 小 时 会 坏 挥 一 块 s。 如 
朱 按 tvrpr 为 100 万 小 时 计算 ， 便 盘 每 年 的 故障 率 不 到 1% ， 但 是 便 盘 实 
际 的 年 故 隐 率 在 3% 一 8% ， 因 此 不 能 一 味 相 信 广 家 给 出 的 数据 ss 。 

一 个 系统 由 多 个 部 件 组 成 ， 系 统 的 整体 可 靠 性 取决 于 部 件 之 间 
是 “并 联 ” 还 是 “串联 ”"。 有 所谓 两 个 部 件 “ 并 联 *"， 指 的 是 两 个 部 件 同时 坏 挥 
会 导致 系统 失灵 ， 比 方 说 元 余 电 源 束 是 并联? 的。 所 请 两 个 部 件 “ 串 
联 ”， 指 的 是 只 要 有 一 个 部 件 坏 抒 ， 系 统 就 失灵 了 ; 一 般 的 入 门 级 服务 
器 上 ， 主 板 、CPU、 内 存 都 是 “串联 ”的 。 

“并 联 ? 可 以 极 大 地 提高 可 靠 性 。 例 如 一 从 服务 器 有 两 个 电源 ， 同 时 
工作 ， 而 且 可 以 热 插 拔 。 如 果 单 个 电源 的 twregr 是 10 万 小 时 ， 更 换 坏 电 
源 需 要 24 小 时 。 假 设 有 100 台 单 电 源 的 机 器 ， 平 均 每 42 天 会 有 一 台 机 器 
出 现 电 源 故 障 。 如 果 改 用 双 电 源 ， 在 出 现 坏 挥 一 个 电源 的 情况 后 ， 在 


24 小 时 内 更 换 它 ， 可 确保 不 停机 。 那 么 这 合 机 器 的 另 一 个 电源 在 这 24 小 
时 内 坏 掉 的 可 能 性 是 1 一 exp(-24/100000) 王 0.024%， 因 此 双 电 源 的 可 靠 
性 是 99.976%. 

再 来 计算 硬盘 存储 数据 的 可 靠 性 s。 为 了 便于 计算 ,假设 硬盘 的 年 
故障 率 是 3.65% ， 更 换 坏 便 盘 并 重建 数据 需要 24 小 时 。 一 块 硬盘 在 24 小 
时 内 坏 掉 的 可 能 性 约 是 0.01% ( 即 10* ) 。 如 果 我 们 按 GFS 的 思路 把 数据 
存 3 份 ， 在 一 块 便 盘 坏 反之 后 ， 立 刻 用 另外 两 份 捞 贝 开始 在 空余 的 硬盘 
上 重建 数据 。 那 么 在 接 下 来 的 24 小 时 里 ， 另 外 两 份 拷贝 同时 坏 掉 的 可 能 
性 是 10* 。 在 一 年 之 内 ， 茶 一 块 数据 丢失 的 可 能 性 是 3.65x10”" 。 换 言 
之 ， 数 据 的 可 靠 性 〈durability) 是 9 个 9。 要 想 进一步 提高 可 靠 性 ， 可 行 
的 方法 有 两 个 : 一 是 提高 见 余 ， 比 如 每 块 数据 存 6 份 ， 二 是 降低 重建 数 
据 的 时 间 ， 比 如 把 更 换 并 重建 硬盘 的 时 间 降 为 12 小 时 。“《 通 过 于 兆 网 全 
速 复 制 一 个 2TB 的 SATA 硬 盘 的 全 部 数据 约 需 6 小 时 。 ) 

前 面 考 处 的 是 从 客户 的 角度 看 菜 一 块 指 定 的 数据 不 丢失 的 概率 ， 如 
果 从 存储 服务 端的 角度 考虑 系统 全 部 数据 都 不 丢失 的 概率 ， 情 况 束 大 不 
一 样 了 。 假 设 一 个 便 盘 每 天 坏 挥 的 概率 为 p， 一 共有 n 块 价 盘 ， 一 天 之 内 
恰好 坏 k 块 便 盘 的 概 准 满足 二 项 分 布 3 
f(k;n,p) = Cp*(1 一 p)”“， 其 中 Ck = jp 是 二 项 式 系 数 。 在 
3 份 数据 元 余 的 情况 下 ， 如 果 一 天 之 内 坏 掉 3 块 以 上 的 硬盘， 就 有 可 能 
数据 。 因 为 如 果 有 某 块 数据 的 3 份 见 余 正好 位 于 这 3 块 坏 挥 的 人 硬盘， 那么 
这 块 数 据 瓯 丢失 了 。 因 此 不 出 现 数据 丢失 的 概率 是 f0; n，p) 十 f(1; mn， 
p) 十 f(2; n，p)。 把 p= 二 10* ，n 二 100,1000,10000 分 别 带 入 公式 ， 可 知 当 n 
二 100 时 ， 数 据 的 可 靠 性 接近 100%; 当 n 二 1000 时 ， 数 据 可 靠 性 为 
99.985%; 而 当 n 二 10000 时 ， 数 据 的 可 徘 性 降 为 为 91.971%， 即 每 天 有 
8.029%% 的 概率 出 现 3 氛 以 上 便 盘 同时 损坏 的 情况 。 如 采 示 个 有 10000 个 
人 硬盘 的 存储 系统 连续 运行 一 个 月 ， 那 么 几乎 青 定 会 遇 到 茶 天 坏 挥 3 块 便 
盘 的 情况 出 现 ， 连 续 运 行 一 年 ， 几 乎 肯定 会 过 到 数据 丢失 的 情况 出 现 。 
如 果 磁 盘 总 数 n 继 续 增 大 ， 数 据 的 总 可 靠 性 迅速 降低 。 在 无 法 改变 硬盘 
故障 率 p 的 情况 下 ， 如 果 基 于 GEFS 思 路 不 变 ， 那 么 增加 数据 的 元 余 份 数 
和 降低 重建 数据 的 时 间 是 提高 可 靠 性 的 两 个 可 行 办 法 。 

这 看 似 矛 盾 的 结果 其 实 也 很 容易 理解 : 一 个 人 买 一 张 彩票 中 头 奖 的 
Ta 一 期 彩票 有 几 折 万 人 购买 ， 那 么 几乎 每 期 都 能 

可 靠 性 与 可 用 性 (availability〉 是 两 码 事 ， 可 靠 性 指 的 是 数据 不 于 
失 的 概率 ， 可 用 性 指 的 是 数据 或 服务 能 锌 随时 访问 到 的 概率 。 可 用 性 三 

MTBE 其 中 twrrR 是 平均 修复 时 间 。 因 此 为 了 提高 可 用 性 ， 提 


tMTBE 十 tMTrTR 


豆包 RE 和 降低 trTR 都 是 可 行 的 O 例如 假设 茶 服 务 的 twTpr 短 到 只 有 24 
小 时 ， 但 twrrR 做 到 10 秒 ， 可 用 性 还 是 高 达 99.988%. 

值得 一 提 的 是 ， 前 面 只 考虑 了 硬盘 整体 故障 ， 没 有 考虑 数据 读 写 错 
误 4。 普 通 SATA 硬 盘 的 误 码 率 (bit error rate) 约 是 10* ， 也 就 是 说 大 约 
每 谈 12TB 的 数据 融会 和 遇 到 有 效 据 读 不 出 来 *。 倒 盘 市 蜗 按 100MB/AS 算 ， 
那么 持续 全 速 谈 33 小 时 残 会 出 现 这 种 错误 。 而 ECC 内 存 的 可 靠 上 度 远 高 于 
便 盘 ， 大 约 每 年 有 1.3% 的 机 器 会 过 到 不 可 恢复 的 内 存 故 障 s。 因 此 在 没 
有 使 用 RAID 的 廉价 服务 右上 ， 应 该 关闭 swap 分 区 ， 避 免 因 破 盘 读 写 错 
误 而 损害 非 存 储 业 务 的 可 靠 性 。 

单机 易 坏 的 部 件 通 篆 都 有 廉价 的 了 见 余 方 案 〈 双 电源 、 热 插 拔 硬盘、 
双 口 网 卡 ，， 但 是 其 余 的 核心 部 件 (主板 s、CPU、 内 存 s) 没有 廉价 的 
热 插 拔 方案 ， 出 现 故 障 必 须 停机 修复 。 如 此 看 来 ， 分 布 式 系统 中 服务 器 
便 件 的 可 靠 性 并 不 如 想象 中 高 ss ， 如 果 服 务 器 的 tyrps 是 10 万 小 时 ， 在 
100 台 服务 妖 组 成 的 分 布 式 系统 中 ， 每 个 月 出 现 一 次 服务 右 人 硬件 故 障 的 
可 能 性 略 大 于 50%. 

这 还 没有 考虑 需要 停机 维护 的 其 他 原因 ， 包 括 机 需 搬 动 、 空 调 故 
障 、 供 电 故 障 、 网 络 交 换 机 或 路 由 器 故障 、 机 房 进 水 或 漏 韧 、 操 作 系 统 
或 其 他 系统 软件 (固件 〉 的 安全 补丁 等 等 。 因 此 ， 在 设计 分 布 式 系统 的 
时 候 ， 要 把 这 些 硬 件 和 环境 的 不 可 徘 因 系 考虑 进去 ， 避 人 免 制定 出 不 切实 
际 的 单机 软件 可 靠 性 指标 “7x24 是 overkill) 。 考 虑 了 硬件 不 可 靠 的 因 
系 ， 实 际 上 能 降低 软件 的 编码 难度 。 

便 件 故障 固然 不 可 避免 ， 不 过 软件 故障 和 人 为 故障 往往 更 容易 制造 
厂 烦 。 软 件 故 障 的 很 大 一 部 分 是 资源 不 足 ， 例 如 内 存 耗 尽 、 便 盘 写 满 、 
网 络 带宽 占 满 ， 以 及 文件 描述 符 或 -node 用 完 等 。 应 对 这 种 故障 的 办 法 
是 持续 监控 并 报警 ， 必 要 时 自动 或 人 工 干 预 。 有 了 这 样 的 监控 系统 ， 也 
能 减轻 应 用 程序 开发 的 负担 ， 比 如 日 志 库 就 不 必 在 意 磁 盘 是 否 写 满 ， 因 
为 机 器 上 肯定 有 监测 磁盘 剩余 空间 的 程序 。 


9.2.1 分布 式 系统 的 软件 不 要 求 7x24 可 午 


运行 在 一 人 台 机 需 《〈 设 备 ) 上 的 软件 的 可 徘 性 受 限 于 便 件 ， 如 果 便 件 
本 里 的 可 菲 性 不 品 ， 那 么 软件 做 得 髓 可 徘 也 没有 意义 。 目 己 开 友 的 软件 
的 可 徘 性 只 需要 略 电 于 价 件 及 操作 系统 即 可 ， 即 “不 当 木 桶 的 短 板 ?。 竺 
软件 “计算 机 科学 系 〉 出 里 的 人 往往 认为 便 件 不 会 坏 ， 而 学 便 件 (电子 
信息 系 ) 出身 的 人 一 般 部 认为 便 件 不 会 坏 才 怪 。 半 导体 胡 件 是 非 弟 娇 弱 
的 ， 宇 宙 射 线 的 中 子 和 集成 电路 封 交 材 料 中 的 同位 隶 桶 变 产 生 的 ao- 粒 于 


在 击 中 三 片 时 会 释放 能 量 ， 有 可 能 影响 储 能 大 件 的 “状态 ”， 造 成 pit 翻转 


前 面 分 析 过 ， 如 果 一 合 服务 器 的 twrpgr 是 10 万 小 时 ， 连 续 运 行 一 年 
出 现 故 障 的 概率 是 8.4% ;如果 一 侣 网 络 交 换 机 的 twrpgr 是 20 万 小 时 ， 它 
连续 运行 一 年 出 现 故 障 的 概率 是 4.3%. 在 编写 单机 服务 软件 或 网 络 交 换 
机 固件 的 时 候 ， 程 序 应 该 尽量 可 靠 (7x24) ， 要 能 连续 稳定 运行 一 年 才 
不 会 影 啊 系统 的 可 菲 性 。 

但 是 ， 在 一 个 100 台 服务 占 规 模 的 分 布 式 系统 中 ， 每 个 月 出 现 一 次 
便 件 故障 的 概率 是 51.3% ;在 一 个 1000 台 服务 器 规模 的 分 布 式 系统 中 ， 
每 周 出 现 人 硬件 故 隐 的 概率 是 81.4%%. 在 开发 运行 于 这 些 硬 件 上 的 分 布 式 服 
务 软件 时 ， 要 求 单个 程序 “连续 稳定 运行 一 年 “是 做 无 用 功 。 如 果 一 年 之 
内 因为 人 硬件 或 操作 失误 造成 10 次 俘 机 ， 软 件 故 障 造 成 两 次 俘 机 ， 消 除 这 
两 次 软件 故障 并 不 能 有 效 地 提高 系统 的 可 靠 性 。 

要 求 分 布 式 中 的 单个 服务 进程 “7x24 不 停机 ?通常 是 错误 地 理解 了 需 
求 与 约束 。 融 可 用 的 关键 不 在 于 做 到 不 仿 机 ;恰恰 相反 ， 要 做 到 能 随时 
重启 任何 一 个 进程 或 服务 。 通 过 容错 集 略 让 系统 保持 整体 可 用 ， 关 键 是 
要 设计 合理 的 协议 来 避免 对 单机 过 高 的 可 著 性 要 求 。 只 要 重 局 或 故障 转 
移 〈failover) 的 时 间 足 够 短 〈 秒 级 ) ， 则 可 用 性 仍然 相当 高 。 要 设法 从 
架构 上 搬 挥 这 块 “ 绊 脚 石 ”， 通 过 多 机 协作 达到 可 用 性 指标 。 在 不 可 徘 的 
便 件 上 ， 只 有 通过 软件 手段 来 提高 系统 的 整体 可 用 虎 。 比 方 说 $9.1.2 举 
的 Thumbnailer 整 不必 做 到 7x24， 通 过 合理 的 设计 协议 ， 任 何 一 个 
Thumbnailer 都 可 以 随时 各 局 。 

如 果真 要 7x24 连 续 运 行 ， 应 该 有 明确 的 tyrpE 指标 。 另 外 ，6.9x24 
行 不 行 ? 7x23.9 行 不 行 2? 对 于 非 性 命 似 天 的 系统 ， 在 星期 天 竣 展 3 点 短 
次 不 可 用 会 有 多 大 的 实际 影响 呢 ? 

既然 预料 到 人 硬件 会 出 现 故 障 ， 束 能 避免 不 切实 际 的 软件 可 徘 性 指 
标 。 对 于 分 布 式 系统 中 的 进程 来 说 ， 考 虑 到 平均 一 两 个 月 就 会 有 程序 版 
本 更 新 ， 那 么 进程 能 连续 运行 数 星期 就 可 算 达 标 了 ， 软 件 升级 的 时 候 反 
下 还 是 要 重 局 进程 的 3。 

以 上 理由 不 是 给 写 出 低 质 量 代 人 码 找 开脱 的 借口 ， 而 是 说 在 编程 的 时 
修 ， 不 必 纠 结 于 想 尺 一切 办 法 防止 程序 有 骨 尝 。 这 样 可 以 简化 错误 处 理 ， 
用 最 目 然 的 方式 编写 C++ 代 人 码 ， 访 new 的 束 new， 该 用 STL 束 用 ， 不 要 视 
动态 分 配 内 存 为 “洪水 猛 胃 ”。 不 要 把 时 间 浪 费 在 解决 错误 有 的 问题 3， 应 
集中 精力 应 付 更 本 质 的 业务 问题 。 

比方 襄 ， 对 于 某 些 资源 耗 尽 的 错误 可 以 简化 处 理 ， 在 编写 64-bit 程 
序 时 也 可 以 不 必 在 音 内 存 人 肆 厂 (理由 见 8A.1.8) 。 人 过 到 菏 些 友 生 概 这 很 
小 的 严重 错误 事件 时 ， 可 以 直接 退出 进程 ， 举 例 来 说 


Re 直接 退出 进程 好 了 ， 反 正 程序 也 无 法 正确 
何 下 

一般 的 程序 2 不 必 在 意 内 存 分 配 失 败 ， 遇 到 这 种 情况 直接 退出 即 
可 。 一 方面 是 在 程序 分 配 内 存 失 败 之 前 ， 资 源 监控 系统 应 该 已 经 报警 = 
， 实 施 负 载 迁 移 ， 另 一 方面 ， 如 果真 过 到 std::bad_alloc 寞 利 ， 也 没有 特 
别 有 效 的 办 法 来 应 对 3#。 

程序 也 不 必 考 虑 侯 抬 写 满 s， 因 为 在 磁 检 写 满 之 前 ， 监 控 系 统 已 经 
报警 5。 如 果 是 关键 业务 ， 必 然 已 经 有 人 采取 必要 的 措施 来 腾 出 人 磁极 空 
间 。 


9.2.2 “能 随时 重启 进程 > 作为 程序 设计 目标 


既然 硬件 和 软件 条 件 都 不 需要 《不 允许 ) 程序 长 期 运行 ， 那 么 程序 
在 设计 的 时 候 几 须 想 清和 芭 重 局 进程 的 方式 与 代价 。 进 程 重 司 大 致 可 分 为 
软 便 件 故 隐 导致 的 意外 重 局 与 软 便 件 升级 引起 的 有 计划 主动 重 局 。 无 论 
是 哪 种 重 局 ， 痢 最 好 让 最 终 用 户 感 觉 不 到 程序 在 章 局 。 音 局 耗 时 应 尽量 
短 ， 中 断 服 务 的 时 间 也 尽量 短 ， 或 者 最 好 能 做 到 根本 不 中 断 服 务 。 重 局 
进程 之 后 ， 应 该 能 目 动 恢复 服务 ， 了 最 好 避免 需要 手动 恢复 。 

《Google File System》 论 文 了 ?第 5.1.1 “Fast Recovery” 所 到 |: 


Both the master and the chunkserver are designed to restore their state 
and start in seconds no matter how they terminated. In fact, we do not 
distinguish between normal and abnormal termination; servers are routinely 
shut down just by killing the process. 


以 上 说 明 ， 由 于 不 必 区 分 进程 的 正常 退出 与 异常 终止 ， 程 序 也 就 不 
必 做 到 能 安全 退出 ， 只 要 能 安全 被 杀 即 可 。 这 大 大 简化 了 多 线程 服务 端 
编程 ， 我 们 只 需 关 心 正常 的 业务 逻辑 ， 不 必 为 安全 退出 进程 费心 。 

无 论 是 程序 主动 调用 exit(3) 或 是 被 管理 员 kill(1)， 进 程 都 能 立即 重 
局 。 这 就 要 求 程 序 只 使 用 操作 系统 能 目 动 回收 的 IPC， 不 使 用 生命 期 大 
于 进程 的 IPC， 也 不 使 用 无 法 重建 的 IPC。 上 有 具体 说 ， 只 用 TCP 为 进程 间 通 
信 的 唯一 手段 ， 进 程 一 退出 ， 连 接 与 问 口 目 动 关闭 。 而 且 无 论 连 接 的 哪 
一 方 断 连 ， 都 可 以 重建 TCP 连 接 ， 恢 复 通 信 。 

不 要 使 用 路 进程 的 mutex 或 samaphore， 也 不 要 使 用 共享 内 存 ， 因 为 
进程 意外 终止 的 话 ， 无 法 清理 资产， 特别 是 无 法 解 饥 。 夯 外 也 不 要 使 用 


父子 进程 共 圣 文件 摘 述 和 从 的 方式 来 通信 (pipe(2)) ， 父 进程 死 了 ， 子 进 
时 怎么 办 ?pipe 是 无 法 重建 的 。 
意外 重 局 的 常见 情况 及 其 原因 是 








:服务 进程 本 机 重 局 程序 bug 或 内 存 耗 尺 。 
:机 堪 重 局 kernel bug， 侦 然 便 件 错误 。 


:服务 进程 移 机 重 局 一 一 使 件 / 网 络 故障 。 


协议 设计 时 应 该 要 求 客户 端 在 TCP 连 接 断 开 后 能 自动 重 连 ，muduo 
的 TcpClient 自 斋 此 功能 。 但 在 某 些 故障 中 客户 端 不 能 立刻 收 TCP 晰 开 的 
消 上 忌 ， 因 此 也 要 求 客 户 六 检测 服务 病 心 跳 ， 并 能 目 动 failover 到 备用 地 址 
(89.3) 。 但 是 换 机 楷 的 话 ， 如 何 退 知客 尸 问 ? (89.8.4) 

如 何 优雅 地 重启 ? 对 于 计划 中 的 重 局 ， 一 般 可 以 采取 以 下 步骤。 


1. 先 主动 停止 一 个 服务 进程 心 跑 : 

“对 于 短 连接 ， 关 闭 listen port， 不 会 有 新 请 求 到 达 。 

.对 于 长 连接 ， 客 户 会 主动 failover 到 备用 地 址 或 其 他 活着 的 服务 
y。 


2. 等 一 段 时 间 ， 和 直到 该 服务 进程 没有 活动 的 请 求 。 
3. kill 并 重启 进程 (通常 是 新 版 本 ) 。 

4. 检查 新 进程 的 服务 正常 与 谷 。 

5. 依次 重 局 服务 问 剩 余 进程 ， 可 避免 中 断 服 务 。 


除了 要 求 客 户 端 能 正确 处 理 心跳 和 TCP 重 连 ， 还 要 求 客 户 端 能 同时 
兼容 新 旧版 本 的 服务 病 协 议 (89.6) 。 

升级 89.1.2 提 到 的 Thumbnailer 服 务 束 可 以 采取 这 个 办 法 ， 完 全 可 以 
做 到 不 中 断 服 务 ， 因 为 每 步 只 杀 挥 一 个 Thumbnailer 进 程 ， 缩 略图 服务 始 
终 是 可 用 的 。 如 有 果 要 升级 Web 服 务 右 ， 可 以 考虑 Joshua Zhu 介绍 的 Nginx 
热 升 级 办 法 3。 

另外 一 种 升级 软件 的 做 法 是 “迁移 ”。 先 局 动 一 个 新 版 本 的 服务 进 
程 ， 然 后 让 旧版 本 的 服务 进程 停止 接受 新 请 求 ， 把 所 有 新 请 求 都 导 回 新 
进程 。 这 样 一 段 时 间 之 后 ， 旧 版 本 的 服务 进程 上 已 经 没有 活动 请 求 ， 可 
以 直接 ki 进程， 完成 迁移 和 升级 。 在 此 升级 过 程 中 服务 不 中 断 ， 每 个 
用 户 不 必 在 意 自 己 是 连接 到 新 版 本 还 是 旧版 本 的 服务 。 一 些 看 似 不 能 中 
断 的 服务 可 以 采用 这 种 方式 升级 ， 因 为 单个 请 求 的 时 长 总 是 有 限 的 。 

扯 远 一 句 ， 火 星 探 路 者 〈pathfinder) 也 经 历 过 真正 的 远程 重启 3， 
发 生 在 距离 地 球 几 亿 干 米 的 火星 上 。 





9.3 分布 式 系统 中 心跳 协议 的 设计 


表面 提 到 使 用 TCP 连 接 作 为 分 布 式 系统 中 进程 间 通 信 的 唯一 方式 ， 
其 好 处 之 一 是 任何 一 方 进 程 意 外 退出 的 时 候 对 方 能 及 时 得 到 连接 断 开 的 
通知 ， 因 为 操作 系统 会 天 财 进程 使 用 中 的 TCP socket， 会 往 对 方 发 送 
FIN 分 和 节 〈TCP segment) 。 尽 管 如 此 ， 应 用 层 的 心跳 还 是 必 不 可 少 的 。 
原因 有 


如果 操作 系统 骨 尝 导致 机 器 曾 局 ， 没 有 机 会 友 送 FIN 分 六 。 

服务 如 从 件 故障 叶 臻 机 右 单 局， 也 没有 机 会 友 达 FIN 分 条 。 

并 有 友 连 接 数 很 局 时 ， 操 作 系统 或 进程 如 玫 重 司 ， 可 能 没有 机 会 类 
开 全 部 连 拨 。 换 名 话说 ，FIN 分 世 可 能 出 现 丢 包 ， 但 这 时 没有 机 会 重 


试 。 
:网 络 故 障 ， 连 接 双 方 得 知 这 一 情况 的 唯一 方案 是 检测 心跳 超时 。 


为 什么 TCP keepalive 不 能 和 奉 代 应 用 层 心 跳 * 心跳 除了 说 明 应 用 程序 
还 酒 看 《进程 还 在 ， 网 络 通 畅 ) ， 更 重要 的 是 表明 应 用 程序 还 能 正 稼 工 
作 。 而 TCP keepalive 由 操作 系统 负责 探 符 ， 即 便 进 程 死 锁 或 阻力 ， 操 作 
系统 也 会 如 党 收 友 TCP keepalive 消 息 。 对 方 无 法 得 知 这 一 异 负 。 

心跳 协议 的 基本 形式 是 : 如 条 进程 C 依 顿 S， 那 么 S 应 访 投 固定 周期 
问 C 有 发 送 心 跳 &， 而 C 按 固定 的 周期 检查 心跳 。 换 言 之 ， 通 名 是 服务 端 回 
客户 痕 发 送 心跳 ， 例 如 8$9.1.2 捉 到 的 Thumbnailer 服 务 应 该 同 Web Server 
定期 有 友 送 心跳 ， 如 网 9-6 所 示 。 


1 
| 
RecelweT 





图 9-6 中 Sender 愉 1 秒 为 周期 间 Receiver 发 送 心 跳 消 轧 ， 而 Receiverb 愉 人 
1 秒 为 周期 检查 心跳 消息 。 注 意 到 Sender 和 Receiver 的 计时 器 是 独立 的 ， 
因此 可 能 会 出 现 儿 9-7 所 示 的 “发 送 和 检 和 碍 时 机 不 对 齐 ” 情 况 ， 这 是 完 
正常 的 。 
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图 9-7 

心跳 的 检 奏 也 很 简单 ， 如 果 Receiver 最 后 一 次 收 到 心跳 消息 的 时 间 
与 当前 时 间 之 到 超过 茶 个 timeout 值 ， 那 么 束 判 断 对 方 心跳 失效 。 例 如 
Sender 所 在 的 机 禹 在 Ts 三 11.5 时 刻 朋 尝 ，Receiver 在 T. 二 12 时刻 检 碍 心 
跳 是 正音 的 ， 在 T 二 13 时 刻 发 现 过 去 timeout 秒 之 内 没有 收 到 心跳 消 忌 ， 
于 是 判断 心跳 失效 (图 9-8) 。 注 童 到 这 距离 实际 友 生 衣 演 的 时 刻 已 过 
去 了 1.5 秒 ， 这 是 不 可 避免 的 延迟。 分 布 式 系统 没有 全 局 有 瞬时 状态 ， 不 
存在 立刻 判断 对 方 故 障 的 方法 ， 这 是 分 布 式 系 统 的 本 质 困 难 
(89.1.1) 。 


T=1] T=]11.3 
sender .3 
| crash 
\ timeout 


如 来 要 保守 一 些 ， 可 以 在 连续 两 次 检查 都 撩 效 的 情况 下 认定 Sender 
已 无 法 提供 服务 ， 但 这 种 方法 友 现 故障 的 延 运 比 前 一 种 方法 要 多 一 个 检 
便 周 期 。 这 反映 了 心跳 协议 的 内 在 矛盾 : 高 置信 度 与 低 反 应 时 间 不 可 碌 
得 。 

现在 的 问题 是 如 何 确定 发 送 周期 、 检 本 周期 、timeout 这 三 个 值 。 通 
钊 Sender 的 及 送 周期 和 Receiver 的 检查 周期 相同 ， 均 为 T_ ;而 timeout 二 
Te ，timeout 的 选择 要 能 容 仍 网 络 消 恩 延 时 波动 和 定时 耸 的 流动。 图 9-9 
中 T, 三 12.1 及 出 的 消 恩 由 于 网 络 延 迟 波 动 ， 销 过 了 检 答 点 ， 如 末 timeonut 


过 小 ， 会 造成 误 报 。 









‘tailed 





图 9-8 
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尽管 及 达 周 期 和 检查 周期 均 为 T.， 但 无 法 保证 每 个 检查 周期 内 恰好 
收 到 一 条 心跳 ， 有 可 能 一 条 也 没有 收 到 。 因 此 为 了 避免 误 报 (false 
alarm) ， 通 音 可 取 timeout 三 2T。 。 

Te 的 选择 要 平衡 两 方面 因 系 : IT 越 小 ，Sender 和 Receiver 时 位 时 间 
内 处 理 的 心跳 消息 越 多 ， 开 销 越 大 ; T. 越 大 ，Receiver 检 疯 到 故障 的 延 
迟 也 了 束 越 大 。 在 故障 延迟 敏感 的 场合 ， 可 取 T. 三 18， 人 否则 可 取 工 .三 
10s。 忌 结 一 下 心跳 的 判断 规则 ;如果 最 近 的 心跳 消 晨 的 接收 时 间 早 于 
now 一 2T.， 可 判断 心跳 失效 。 

心跳 消 轧 应 该 包含 用 送 方 的 标识 待 ， 可 鬼 89.4 的 方式 确定 分 布 式 系 
统 中 每 个 进程 的 唯一 标识 从 。 建 议 也 包含 当 前 负载 ， 便 于 客户 病 做 负载 
均衡 。 由 于 每 个 程序 对 “负载 ?的 定义 不 同 ， 因 此 心跳 消 妃 的 格式 也 束 各 
不 相同 。 我 认为 可 以 在 某 些 公共 字段 的 基础 上 增加 应 用 程序 的 特定 字 
段 ， 而 不 要 强行 规定 全 部 程序 都 用 相同 的 心跳 消 轧 格式 。 

以 上 是 Sender 和 Receiver 直 接 通 过 TCP 连 接 发 送 心跳 的 做 法 ， 如 果 
Sender 和 Receiver 之 间 有 其 他 消 晨 中 转 进 程 ， 那 么 还 应 该 在 心跳 消 恩 中 
加 上 Sender 的 用 大 时 间 ， 防 止 消息 在 传输 过 程 中 堆积 而 导致 假 必 跳 〈 见 
图 9-10)〉 。 相 应 的 判断 规则 改 为 : 如 果 最 近 的 心跳 消 恩 的 发 计时 间 早 于 
now 一 2T。， 心 跳 失 效 。 使 用 这 种 方式 时 ， 两 台 机 妖 的 时 间 应 该 都 通过 
NTP 协 议 与 时 间 服 务 夯 同步 ， 侣 则 几 秘 的 时 钟 甜 可 能 造成 误 判 心跳 撩 
效 ， 因 为 Receiver 始 终 收 到 的 是 “过 去 ” 友 友 的 消 居 2。 


内 
Sender Ts 
| 
| 1 
| 1 | : | | 
| | | mm |- 
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考虑 到 国 秘 的 影响 ，T. 小 于 1 秒 是 无 意义 的 ， 因 为 国 秒 会 让 两 台 机 
研 的 相对 时 关 肥 生 跳 变 ， 可 能 造成 误 报 警 ， 如 图 9-11 所 示 。 
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图 9-11 


计算 机 的 计时 是 UTC 时 间 ，UTC 时 间 会 受 装 秒 的 影响 ， 它 不 是 完 
均匀 流逝 的 。 目 前 国 秒 的 插入 点 是 在 每 年 的 固定 日 期 〈12 月 31 日 或 6 月 
30 日 ) ， 不 考虑 星期 几 。 这 会 对 日 单 生活 《特别 是 电子 化 交易 ) 造成 影 
啊 。 我 认为 应 该 修 改 规则 ， 在 年 末 或 年 中 的 某 个 星期 日 竣 展 GMT 时 
区 ) 插入 羡 秒 ， 和 避免 在 交易 时 段 出 现时 间 跳 变 。NTP 协 议 对 羡 秒 的 处 理 
也 比较 伪 硬 ， 基 本 灯 取 暂停 时 钟 的 办 法 来 插入 国 秒 ， 这 会 造成 分 布 式 系 
统 中 两 台 机 器 在 发 生 浆 秒 时 突然 出 现时 间 差 ， 即 便 它 们 的 时 钟 都 是 和 
NTP 服 务 需 对 准 的 。 在 分 布 式 系统 中 ， 有 时 我 们 需要 特别 处 理 这 一 问 
是 ， 尤 其 在 设计 容错 协议 的 时 候 ， 见 Google 的 一 篇 bloge 。 

心跳 协议 还 有 两 个 实现 上 的 关键 点 : 


1. 要 在 工作 线程 及 送 ， 不 要 单独 起 一 个 “心跳 线程 ”。 
2. 与 业务 消 奶 用 同一 个 连接 ， 不 要 蛙 独 用 “心跳 连接 ”。 


这 么 做 的 原因 是 为 了 防止 伪 心 跳 。 

对 于 第 1 点 ， 这 是 防止 工作 线程 死 锁 或 阻塞 时 还 在 继续 发 心跳 。 对 
于 采用 86.6 方 案 5 的 曲线 程 服务 程序 ， 应 该 用 EventLoop::runEvery() 注 册 
周期 性 定时 器 回调 ， 在 回调 函数 中 友 送 心跳 消息 。 对 于 采用 方案 8 的 多 
线程 服务 器 ， 应 该 用 EventLoop::runEvery0O 注 册 周 期 性 定时 噩 回调 ， 在 
回调 函数 中 往 线 程 池 post 一 个 任务 ， 该 任务 会 发 送 心跳 消息 。 这 样 就 能 
有 效 地 检测 工作 线程 死 锁 或 阻 奢 的 情况 。 对 于 方案 9 和 方案 11 也 可 以 采 
取 类 似 的 办 法 ， 对 多 个 EventLoop 轮 流 调 用 runInLoopO， 以 防止 某 个 业 
务 线程 死 锁 还 继续 发 送 心 跳 。 

对 于 第 2 点 ， 心 跳 消 息 的 作用 之 一 是 验证 网 络 畅 通 ， 如 果 和 它 验 证 的 
不 是 收发 业务 数据 的 TCP 连 接 畅 通 ， 那 其 意义 就 大 为 缩水 了 。 特 别 要 避 
免 用 TCP 做 业务 连接 ， 用 UDP 发 送 心 跳 消 息 ， 防 止 一 旦 TCP 业 务 连 接 上 
出 现 消息 堆积 而 影响 正常 业务 处 理 时 ， 程 序 还 一 如 既往 地 发 送 UDP 心 


跳 ， 造 成 客户 端 误 认 为 服务 可 用 。《Release It》 一 书 第 4.1 节 “The 5 a.m. 
Problem” 讲 了 一 个 生动 的 例子 ， 用 于 摘 述 心跳 也 是 合适 的 。 这 个 例子 说 
的 是 Sender 和 Receiver 位 于 两 个 数据 中 心 ， 之 间 有 网 络 防火 场 。 网 络 防 
火 墙 的 一 个 特点 是 会 目 动 检测 TCP 死 链接 ， 即 长 期 没有 消 居 往来 的 TCP 
连接 ， 并 清除 内 存 中 的 连通 规则 。 原 来 的 程序 通过 单独 的 TCP 连 接 发 送 
心跳 ， 与 业务 数据 不 在 同一 TCP 连 接 。 由 于 心跳 始终 在 周期 性 地 肥 送 ， 
因此 ， 防 火 墙 认为 这 个 TCP 连 接 是 活动 和 的。 但 是 业务 连接 在 每 天 晚上 有 
很 长 一 段 时 间 没 有 数据 交互 ， 防 火 寺 束 判断 其 为 死 链 接 ， 并 有 日 不 再 转发 
此 链接 的 IP packet。 尺 管 Sender 和 Receiver 还 认为 这 个 TCP 业 务 连 接 活 

者 ， 但 防火 场 实 际 上 已 经 让 连接 断 开 了 。 当 每 天 早上 5 点 钟 第 一 笔 订 单 
进来 的 时 候 ， 始 终 会 出 现 超时 错误 ， 因 为 业务 连接 的 TCP segment 无 法 
到 达 对 方 。TCP 协 议 要 经 过 很 长 一 段 时 间 才 能 真正 判断 连接 断 开 (相当 
于 中 途 断 网 ，TCP 会 重 试 很 多 次 ) ， 这 时 只 有 重启 一 方 的 进程 才能 快速 
修复 错误 。 当 把 心跳 消息 放 到 业务 连接 上 之 后 ， 问 题 束 迎刃而解 了 。 


9.4 分 布 式 系统 中 的 进程 标识 


本 节 假 定 一 台 机 器 (host) 只 有 一 个 IP， 不 考虑 multihome 的 情况 
。 同 时 假定 分 布 式 系统 中 的 每 一 全 机 亏 都 正 硝 运 行 了 NTP， 各 台 机 器 的 
时 间 大 体 同步 。 

“进程 〈process) ”是 操作 系统 的 两 大 基本 概念 之 一 ， 指 的 是 在 内 存 
中 运行 的 程序 。 在 日 第 交 流 中 , “进程 ?这 个 词 通 冲 不 止 这 一 个 意思 。 有 
时 候 我 们 会 说 “httpd 进 程 ? 或 者 “mysqld 进 程 >， 指 的 其 实 是 program， 而 不 
一 定 是 特 指 共 一 个 “进程 一 茶 一 次 forkO 系 统 调 用 的 产物 。 一 个 “httpd 
进程 ”重启 了， 它 还 是 “一 个 httpd 进 程 ”。 本 文 讨论 的 是 ， 如 何 为 一 个 程 
序 每 次 运行 的 进程 取 一 个 唯一 标识 从 。 也 就 是 说 ，httpd 程 序 第 一 次 运 
行 ， 进 程 是 httpd_1， 它 原 地 重启 了， 进程 是 httpd_2。 

本 市 所 指 的 “进程 标识 从 ”是 用 来 唯一 标识 一 个 程序 的 “一 次 运 
行 ”* 的 。 每 次 局 动 一 个 进程 ， 这 个 进程 应 该 个 赋予 一 个 唯一 的 标识 付 ， 
与 当前 正在 运行 的 所 有 进程 都 不 同 ; 不 仅 如 此 ， 瑟 应 诅 与 历史 上 曾经 运 
行 过 ， 目 前 已 消亡 的 进程 也 都 不 同 〈 这 两 条 的 直接 推论 是 ， 与 将 来 可 能 
运行 的 进程 也 都 不 同 ) 。“ 为 每 个 进程 命名 ”在 分 布 式 系统 中 有 相当 大 的 
实际 意义 ， 特 别 是 在 考虑 failover 的 时 候 。 因 为 一 个 程序 重 局 之 后 的 新 进 
程 和 它 的 “前 世 进 程 ? 隐 状态 通 间 不 一 样 ， 凡 是 与 它 打交道 的 其 他 进程 (S) 
最 好 能 通过 它 的 进程 标识 符 变 更 来 很 容易 地 判断 诅 程 序 已 经 重 司 ， 而 有 
取 必 要 的 救灾 措施 ， 防 止 搭 钳 话 。 


本 节 先 假定 每 个 服务 闫 程序 的 端口 是 静态 分 配 的 ， 在 公司 内 部 有 一 
个 公用 wiki 来 记录 问 口 和 程序 的 对 应 关系 《然后 通过 NIS 或 DNS 妈 
布 ) 。 比 如 端口 11211 始 终 对 应 memcached， 其 他 程序 不 会 使 用 11211 端 
口 ，3306 始 终 留 给 mysqld; 3690 始 终 留 给 svnserve。 在 分 布 式 系统 的 初 
级 阶段 ， 这 是 通 钊 的 做 法 ;到 了 高 级 阶段 ， 多 半 会 用 动态 分 配 端 口 亏 

(89.8) ， 因 为 端口 写 只 有 6 万 多 个 ， 是 稀缺 资源 ， 在 公司 内 部 也 有 分 

Mo Re 

我 们 假定 在 一 台 机 器 上 ， 一 个 listening port 同 时 只 能 由 一 个 进程 使 
用 ， 不 考虑 古老 的 listen0 十 forkO 模 型 〈 多 个 进程 可 以 accept 同 一 个 问 口 
上 进来 的 连接 ) 。 关 于 这 点 我 已 经 号 了 很 多 ， 见 第 3 章 。 本 书 只 考 谍 
TCP 协 议 ， 不 考虑 UDP 协议 , “端口 ” 指 的 都 是 TCP 端 口 。 


9.4.1 ”错误 做 法 


在 分 布 式 系统 中 ， 如 何 指 涉 (refer to) 某 一 个 进程 昵 ， 或 者 说 一 个 
en (以 下 从 称 gpid) ? 容易 想到 的 有 两 种 
故 法 : 


“1p:port® 
“host:pid 


而 这 两 种 做 法 都 有 问题 。 为 什么 ? 

如 末 进 程 本 里 是 无 状态 的 ， 或 者 午 局 了 也 没有 关系， 那么 用 ip:port 
来 标识 一 个 “服务 ?是 没 问 题 的 ， 比 如 第 见 的 htpd 和 memcached 都 可 以 用 
它们 的 惯用 port (80 和 11211) 来 标识 。 我 们 可 以 在 其 他 程序 里 安全 地 引 
用 (refer to ) “运行 在 10.0.0.5:80 的 那个 HITP 服 务 器 ”>， 或 
者 “10.0.0.6:11211 的 memcached”， 束 算 这 两 个 service 重 司 了 了 ， 也 不 会 有 
大 和 恶 邹 的 后 条， 大 不 了 客户 痛 重 斌 一下， 或 者 目 动 切换 到 备用 地 址 。 

如 果 服 务 是 有 状态 的 ， 那 么 ip:port 这 种 标识 方法 就 有 大 问题 ， 因 为 
客户 闯 无 法 区 分 从 头 到 尾 和 目 己 打交道 的 是 一 个 进程 还 是 先后 多 个 进 
程 。 如 果 客 户 关 和 服务 端 直 接 通 过 TCP 相 和 连 ， 那 么 可 以 获知 进程 退出 引 
用 的 连接 上 断 开 事件 。 但 是 如 果 客 户 闪 与 服务 疹 之 间 用 有 种 消息 中 间 件 来 
回转 发 消息 ， 那 么 客户 山 必 须 通过 进程 标识 才能 识别 服务 病 。 在 开发 服 
务 问 程序 的 时 候 ， 为 了 能 快速 重 局 ， 我 们 一 般 都 会 设置 
SO_REUSEADDR， 这 样 的 结果 是 前 一 秒 站 在 10.0.0.7:8888 后 和 面 的 进程 
后 一 秒 占据 10.0.0.7:8888 的 进程 可 能 不 相同 一 一 服务 端 程序 快速 重 局 





比方 说 ， 考 虑 一 个 类 似 GFS 的 分 布 式 文件 系统 的 master， 如 果 它 仪 
以 ip:port 来 标识 日 己 ， 然 后 它 同 shadows 《不 是 chunk server) 下 达 同 步 
指令 ， 那 么 shadows 如 何 得 知 master 是 不 是 已 经 重启 昵 ? 发 指令 的 是 
master 的 “前 世 ? 还 是 “今生 ”? 是 不 是 应 该 拒绝 “前 世 ? 的 遗 命 ? 

考虑 如 果 改 成 host:pid 这 种 标识 方式 会 不 会 好 一 点 ?我 认为 换 汤 不 
换 药 ， 因 为 pid 的 状态 空间 很 小 ， 重 复 的 概率 比较 大 。 比 如 Linux 的 pid 的 
最 大 值 默认 s 是 32768， 一 个 程序 重 局 之 后 ， 获 得 与 < 前世? 相同 pid 的 概 
率 是 1/32768。 或 许 有 读者 不 相信 重 局 之 后 pid 会 重复 ， 理 由 是 因为 pid 是 
递增 的 ， 遇 到 上 限 再 回 到 目前 空闲 的 最 小 pid。 考 碟 一 个 服务 端 程序 A， 
它 的 pid 是 1234， 它 已 经 稳定 运行 了 好 儿 天 ， 这 期 旧 ，pid 己 经 增长 了 几 
个 轮回 《因为 这 台 机 器 时 常会 司 动 一 些 后 台 脚 本 执行 一 些 辅助 工作 )〉。 
在 A 月 尝 的 前 一 刻 ， 最 近 被 使 用 的 pid 己 经 回 到 了 1232， 当 人 A 有 骨 尝 之 后 ， 
某 个 守护 进程 启动 一 个 脚本 (pid 二 1233) 来 清理 A 的 log， 然 后 再 重启 A 
程序 ;这样 一 来 ， 重 司 之 后 的 A 程 序 的 pid 磁 巧 和 和 它 的 前 世相 同 ， 都 是 
1234。 也 就 是 说 ， 用 host:pid 不 能 唯一 标识 进程 。 

那么 合 在 一 起 ， 用 ip:port:pid 呢 ?也 不 能 做 到 唯一 。 它 和 host:pid 面 
临 的 问题 是 一 样 的 ， 因 为 ip:port 这 部 分 在 重 局 之 后 不 会 变 ，pid 可 能 轮 
sl。 


我 猜 这 时 有 人 会 想 ， 建 一 个 中 心服 务 磺 ， 专 门 分 配 系统 的 gpid 好 
了 ， 每 个 进程 司 动 的 时 候 同 它 询 问 目 己 的 gpid。 这 和 错 得 更 远 : 这 个 全 局 
pid 分 配器 的 gpid 由 谁 来 定 ? 如 何 保证 它 分 配 的 gpid 不 重复 〈 考 虑 这 个 程 
厅 也 可 能 意外 音 局 ) ? 它 是 个 是 成 为 系统 的 single point of failure? 如 林 
di 音 ， 古 不 是 面临 分 布 陈 系统 的 基本 问题 : 状态 迁 
SS? 

还 有 一 种 办 法 ， 用 一 个 足够 强 的 随机 数 做 gpid， 这 样 一 来 确实 不 会 
重复 ， 但 是 这 个 gpid 本 喘 也 没有 多 大 额外 的 是 义 ， 不 便于 管理 和 维护 ， 
比方 说 根据 gpid 找 到 是 哪个 机 需 上 运行 的 哪个 进程 。 


9.4.2 ”正确 做 法 


正确 做 法 : 以 四 元 组 ip:port:start_time:pid 作 为 分 布 式 系统 中 进程 的 
gpid， 其 中 start_time 是 64-bit 整 数 ， 表 示 进 程 的 局 动 时 刻 (UTC 时 区 ， 从 
Unix Epoch 到 现在 的 做 秒 数 ，muduo::Timestamp) 。 理 由 如 下 : 


:容易 保证 唯一 性 。 如 果 程 序 短 时 间 重 启 ， 那 么 两 个 进程 的 pid 必 秆 
不 重复 (还 没有 走 完 一 个 轮回 : 就算 每 秒 创建 1000 个 进程 ， 也 要 30 多 秒 
才 会 轮回 ， 而 以 这 么 高 的 速度 创建 进程 的 话 ， 服 务 器 已 基本 次 痪 


了 。) ; 如 条 程 序 运行 了 相当 长 一 段 时 间 再 重 局 ， 那 么 两 识 司 动 的 
start_time 必 定 不 重复 。 

产生 这 种 gpid 的 成 本 很 低 〈 几 砍 低 成 本 系统 调用 ) ， 没 有 用 到 全 局 
服务 右 ， 不 存在 single point of failure。 

:gpid 本 喘 有 是 义 ， 根 据 gpid 立 刻 丈 能 知道 是 什么 进程 〈port) ， 运 
行 在 哪 台 机 需 〈IP) ， 是 什么 时 间 局 动 的 ， 在 /proc 目 孙 中 的 位 置 
(/proc/pid〉 等 ， 进 程 的 资源 使 用 情况 也 可 以 通过 运行 在 那 台 机 项 上 的 
监控 程序 报告 出 来 。 

:gpid 具 有 历史 意义 ， 便 于 将 来 退 调 。 比 方 说 进程 crash， 那 么 我 知 
就 可 以 去 历史 记录 中 查询 它 crash 之 前 的 CPU 和 内 存 负载 有 


2 


如 果 仅 以 ip:port:start_time 作 为 gpid， 则 不 能 保证 唯一 性 ， 如 果 程 序 
短 时 间 重 局 〈 间 隔 一 秒 或 几 秒 ) ，start_time 可 能 会 往 回 跳 变 (NTP 在 调 
时 间 ) 或 暂停 〈 正 好 处 于 装 秒 期 间 ) 。 

没有 port 怎 么 办 ? 一 般 来 说 ， 一 个 网 络 服务 程序 会 侦 听 茶 个 端口 来 
提供 服务 ， 如 果 它 是 个 纯粹 的 客户 新 ， 只 主动 及 起 连接 ， 没 有 主动 侦 听 
端口 ，gpid 该 如 何 分 配 呢 ?根据 89.5 的 观点 ， 分 布 式 系统 中 的 每 个 长 期 
运行 的 、 会 与 其 他 机 器 打交道 的 进程 都 应 该 提供 一 个 管理 接口 ， 对 外 提 
供 一 个 维修 探查 通道 ， 可 以 查看 进程 的 全 部 状态 。 这 个 管理 接口 就 是 一 
个 TCP server， 它 会 侦 听 菜 个 port。 

使 用 这 样 的 维修 通道 的 一 个 额外 好 处 是 ， 可 以 目 动 防止 重复 局 动 程 
序 。 因 为 如 条 重复 局 动 ，bind 到 那个 运 维 port 的 时 候 会 出 钳 《〈 问 口 已 被 
占用 ) ， 程 序 会 立刻 退出 。 更 妙 的 是 ， 不 用 担心 进程 crash 没 来 得 及 清理 
锁 〈 如 果 用 路 进程 的 mutex 束 有 这 个 风险 ) ， 进 程 天 闭 的 时 候 操 作 系 统 
会 自动 把 它 打 开 的 port 都 关上， 下 一 个 进程 可 以 顺利 启动 。 

进一步 ， 还 可 以 把 程序 的 名 称 和 版 本 号 作为 gpid 的 一 部 分 ， 这 起 到 
锅 上 添 花 的 作用 。 

有 了 唯一 的 gpid， 那 么 生成 全 局 唯一 的 消息 id 字符 串 也 十 分 简单 ， 
只 要 在 进程 内 使 用 一 个 原子 计数 器 ， 用 计数 器 递增 的 值 和 gpid 即 可 组 成 
每 个 消息 的 全 局 唯一 id。 这 个 消息 id 本 身 包 含 了 发 送 者 的 gpid， 便 于 追 
调 。 当 消息 被 传递 到 多 个 程序 中 ， 也 可 以 根据 gpid 退 调 其 来 源 。 


9.4.3” TCP 协议 的 启示 


本 节 讲 的 这 个 gpid 其 实 是 由 TCP 协 议 启 发 而 来 的 。TCP 用 ip:port 来 表 
示 endpoint， 两 个 endpoint 构 成 一 个 socket。 这 似乎 符合 一 开始 提 到 上 的 以 


ip:port 来 标识 进程 的 做 法 。 其 实 不 然 。 在 发 起 TCP 连 接 的 时 候 ， 为 了 防 
目前 一 次 同样 地 址 的 连接 (相同 的 

local ip:local_port:remote_ip:remote_port) 的 干扰 《〈 称 为 wandering 
duplicates， 即 流浪 的 packets〉，TCP 协 议 使 用 seg 写 码 〈( 这 种 在 SYN 
packet 里 第 一 次 发 送 的 seq 号 码 称 为 initial sequence number，ISN) 来 区 分 
本 次 连接 和 以 往 的 连接 。TCP 的 这 种 思路 与 我 们 防止 进程 的 “前 世 ? 王 
扰 “ 今 生 ” 很 相像 。 内 核 每 次 新 建 TCP 连 接 的 时 候 会 设法 递增 ISN 以 确保 
与 上 次 连接 最 后 使 用 的 seq 号 人 码 不 同 。 相 当 于 说 把 start_time 加 入 到 了 
endpoint 之 中 ， 这 就 很 接近 我 们 后 和 面 提 到 的 “正确 的 gpid” 做 法 了 。〈( 当 
然 ， 原 始 BSD 4.4 的 ISN 生 成 算法 有 安全 漏 稠 ， 会 导致 TCP sequence 
prediction attack，Linux 内 核 已 经 采用 更 安全 的 办 法 来 生成 ISN。) 


9.5 构建 务 于 维护 的 分 布 式 程序 


本 方 标题 中 的 “易于 维护 ” 指 的 古 supportability， 不 是 
maintainability。 前 者 是 从 运 维 人 员 的 角 虚 说 ， 程 序 管理 起 来 很 方便 ， 日 
第 的 丈 动 负担 小 ， 后 着 是 从 开发 人 员 的 角度 说 ， 代 但 好 读 好 改 。 

在 《分 布 式 系统 的 工程 化 开 友 方法 》s 汗 讲 中 我 提 到 了 一 个 观点 : 
分 布 式 系统 中 的 每 个 长 期 运行 的 、 会 与 其 他 机 需 打 交道 的 进程 都 应 该 提 
供 一 个 管理 接口 ， 对 外 提供 一 个 维修 探 租 通道 ， 可 以 得 看 进程 的 全 部 状 
态 。 一 种 具体 的 做 法 是 在 程序 里 内 置 HTTP 服 务 硕 ， 能 和合 看 基本 的 进程 
健康 状态 与 当前 负载 ， 包 插 活 动 连接 及 其 用 途 ， 能 从 root set 开 始 查 到 每 
一 个 业务 对 象 的 状态 。 这 种 做 法 类 似 Java 的 JMX， 叉 类 似 memcached 的 


stats 命 令 。 


这 里 展开 谈 一 谈 这 么 做 的 必要 性 。 分 成 两 个 方面 来 说 : 一 、 在 服务 
程序 内 置 监控 接口 的 必要 性 ;二 、HTTP 协 议 的 便利 性 。 


必要 性 


在 程序 中 内 阐 监 控 接 口 可 以 说 是 党 了 Linux procfs 的 司 友 。 在 Linux 
下 ， 奏 看 内 核 的 状态 不 需要 任何 特殊 的 工具 ， 只 要 用 ls 和 cat 在 /proc 目 孙 
下 但 看 文件 就 行 了。 要 知道 当前 系统 中 运行 了 哪些 进程 、 每 个 进程 部 打 
开 了 哪些 文件 、 进 程 的 内 存 和 CPU 使 用 情况 如 何 、 每 个 进程 局 动 了 几 个 
线程 、 当 前 有 哪些 TCP 连 接 、 每 个 网 卡 收 用 的 字 币 数 等 等 ， 都 可 以 
在 /proc 中 找到 答 有 宁 。Linux Kemel 通 过 procfs 这 么 一 个 探查 接口 把 状态 元 
分 骏 露 出 来 ， 让 监控 操作 系统 的 运行 变 得 容易 。 


但 是 procfs 也 有 了 两 点 明显 有 的 不 中 : 


1. 它 只 能 皮 露 system-wide 的 数据 ， 不 能 但 看 每 个 进程 内 部 的 数 
据 。 

2. 它 是 本 地 文件 系统 ， 必 须要 登录 到 这 人 台 机 器 上 才能 得 看 ， 如 末 
要 管理 很 多 人 台 机 堪 ， 则 势必 增加 工作 量 。 


对 于 第 一 点 ， 举 例 来 说 ， 我 想 知 道 示 个 我 们 目 己 编号 的 服务 进程 的 
运行 情况 : 


:到 目前 为 止 素 计 接 党 了 多 少 个 TCP 连 接 。 

:当前 有 多 少 活动 连接 〈 这 个 可 以 通过 procfs 奋 看 ) 。 
每 个 活动 连接 的 用 途 是 什么 。 

一共 啊 应 了 多 少 次 请 求 。 

每 次 请 求 的 平均 得 入 输出 数据 长 度 是 多 少 字 。 

每 次 请 求 的 平均 啊 应 时 间 是 多 少 坚 秒 。 

:进程 平均 有 多 少 个 活动 请 求 〈 并 发 请 求 ) 。 

:并 发 请 求 数 的 峰值 是 多 少 ， 出 现在 什么 时 候 。 

: 东 个 连接 上 平均 有 多 少 个 活动 请 求 。 

:进程 中 XXXRequest 对 象 有 多 少 份 实体 。 

:进程 中 打开 了 多 少 个 数据 库 连 接 ， 每 个 连接 的 存活 时 间 是 多 少 。 
程序 中 有 一 个 hashmap， 你 和 存 了 当前 的 活动 请 求 ， 我 想 把 它 打印 出 


某 个 请 求 似 乎 卡 在 某 个 步 又 了 ， 我 想 打 印 进 程 中 该 请 求 的 状态 。 

这 些 正 当 需 求 只 有 通过 程序 主动 又 露 状 态 才 能 满足 ; 人 否则， 束 算 
ssh 登 录 到 这 人 台 机 器 上 ， 也 看 不 到 这 些 有 用 的 进程 内 部 信息 。【〈 和 总 不 能 
gdb attach 吧 ? 那 就 让 服务 进程 逢 停 啊 应 了 。 且 不 说 gdb 打 印 一 个 hashmap 
有 多 麻烦 。) 
便利 性 


如 果 程 序 要 主动 暴露 内 部 状态 ， 那 么 以 哪 种 方式 最 为 便利 呢 ? 当然 
是 HTTP。HTTP 的 好 处 如 下 : 


' 它 是 TCP server， 可 以 远程 访问 ， 不 必 登 录 到 这 台 机 器 上 。 
“TCP server 的 男 一 个 好 处 是 能 安全 方便 地 防止 程序 午 复 局 动 ， 这 一 


点 在 89.4 已 有 论述 。 

:最 基本 的 HITP 协 议 实 现 起 来 很 简单 ， 不 会 给 服务 端 程序 市 来 多 大 
负担 ， 见 muduo::net::HttpServer 的 例子 。 

不必 使 用 特定 的 客户 病程 序 ， 用 普通 web 浏览 右 葡 能 访问 。 

以 比较 容 多 地 用 脚本 语言 实现 客户 着， 便于 上 自动 化 的 状态 收集 
Eg , 

:HTTP 古文 本 协议 ， 烷 急 情 况 下 在 命令 行 用 curl/wget 其 至 telnet 也 能 
访问 《比方 说 你 在 家 通过 ssh 连 到 公司 服务 器 解决 茶 个 线 上 问题 ， 这 时 
候 没 有 Web 浏 览 船 可用) 。 

: 售 助 UREL 路 径 区 分 ， 很 容易 实现 有 选择 地 答 看 一 些 信 息 ， 而 不 是 
把 进程 的 全 部 状态 一 股 脑 儿 全 dump 出 来 ， 见 muduo::net::Inspector 的 例 
子 ， 如 http://host:port/request/Xxx 表 示 ID 为 xxX 的 请 求 的 状态 。 

‘HTTP 天 生 文 持 聚合 ， 一 个 浏览 强 页 面 可 以 内 站 多 个 iframe， 一 了 眼 
束 能 看 清 多 个 进程 的 状态 。 

-除了 GET method， 如 果 有 必要 ， 还 可 以 实现 PUT/POST/DELETE， 
通过 HTTP 协 议 来 控制 并 修改 进程 的 状态 ， 让 程序 “能 观 能 控 ?=。 

:最 好 能 在 运行 时 修改 程序 用 到 的 后 合 服务 的 host:port《〈 原 本 与 在 配 
置 文件 中 ) ， 这 样 可 以 随时 主动 切换 后 台 服 务 〈 平 清 升级 或 故障 预 
防 ) ， 而 无 须 重 司 本 进程 。 

:必要 的 时 候 还 可 以 用 REST 的 方式 实现 高 级 的 聚合 ， 见 我 在 汗 讲 中 
的 “一 种 REST 风 格 的 监控 ”。 


为 外 ， 我 们 讨论 分 布 式 系统 是 运行 在 企业 防火 墙 之 内 的 基础 设施 ， 
HTTP 的 安全 性 应 该 由 防火 墙 保证 。 束 好 比 你 的 Hadoop master 和 
memcached 不 会 浴 露 给 外 网 一 样 ， 在 公司 内 部 使 用 HTTP， 只 要 没有 人 
故意 摘 了 破坏 驳 没 事 。 


实例 


演讲 中 我 举 了 Google 的 例子 s，Google 的 每 个 服务 进程 (无 论 
C++ 或 Java) 都 会 


:提供 HITML 的 状态 页 面 ， 以 便 快 速 诊 断 问题 ; 

:通过 菜 种 标准 接口 暴露 一 组 key-value pairs; 

:监控 程序 定期 从 全 部 服务 进程 收集 性 能 数据 ; 

“RPC 子 系统 对 全 部 请 求 采 样 : 错误 的 ， 耗 时 二 0.05s， 二 0.1s，> 
0.5DS， 之 1.0S...... 


当然 ， 我 们 看 不 到 Google 内 部 的 服务 鼎 的 状态 页 面 究竟 是 什么 样 
子 ， 不 过 可 以 看 看 别 的 例子 ， 比 如 Hadoop。Hadoop 有 四 种 主要 
services: NameNode、DataNode、JobTracker、TaskTracker。 每 种 
service 都 内 置 HTTP 状态 页 面 ， 其 默认 HTTP 新 口 分 别 是 : 











‘NameNode 50070 
‘DataNode 50075 
‘JobTracker 50030 
“TaskTracker 50060 





如 果菜 台 机 器 运行 了 DataNode 和 TaskTracker， 那 么 我 们 可 以 通过 访 
问 hostname:50075 和 http://hostname:50060 来 方便 地 查询 其 运行 状态 。 


例外 


如 果 不 方便 内 置 HTTP 服 务 ， 那 么 内 置 一 个 简单 的 telnet 服 务 也 不 
难 ， 束 人像 memcached 了 Rjstats 命 令 那 样 。 

如 果 服 务 程 序 本 里 以 RPC 方 式 提供 服务 ， 那 么 可 以 不 必 内 置 HTTP 
服务 ， 而 是 增加 一 个 RFC 调 用 实现 相同 的 功能 。 这 个 RPC 可 以 命名 为 
inspect()， 输 入 的 内 容 类 似 URL， 返 回 的 是 该 URL 对 应 的 页 面 内 容 ， 可 
以 是 文本 格式 ， 也 可 以 是 RPC 原 生 的 打包 格式 。 

如 果 是 Java 程 序 ， 可 以 直接 使 用 JMX， 也 可 以 继续 使 用 本 节 提 到 的 
HTTP 方 法 ， 这 样 管 理 和 监控 的 一 致 性 较 好 ， 全 少 不 需 要 为 Java 服 务 进 
程 准备 特殊 的 客户 疹 。 

小 结 

在 目 己 编写 分 布 式 程序 的 时 候 ， 提 供 一 个 维修 退 道 是 很 有 必要 的 ， 
它 能 帮助 日 营运 维 ， 而 且 在 出 现 故 障 的 时 候 帮 助 排 租 。 相 反 ， 如 果 不 在 
程序 开发 的 时 候 统 一 预 留 这 些 维修 通道 ， 那 么 运 维 起 来 就 抓 瞎 了 每 
个 进程 都 是 黑人 合子， 出 点 什么 情况 都 得 拼命 但 log 试 图 恢复 ( 猪 测 〉 进 
程 的 状态 ， 工 作 效 率 不 珊 。 


9.6 ”为 系统 演化 做 准备 


一 个 分 布 式 系统 的 生命 期 会 长 达 数 年 ， 在 自 次 上 线 运行 之 后 ， 系 统 





会 经 历 多 次 升级 和 演化 ， 因 此 在 一 开始 设计 的 时 候 要 适当 为 将 来 考虑 。 
一 个 典 全 的 郑 碟 点 起: 通信 的 双方 很 有 可 能 不 会 同时 升级 。 通 信 双 方 可 

能 由 不 同 的 开 肥 团队 开 及 ， 开 及 和 及 布 周期 不 同步 。 有 可 能 为 了 稳妥 起 
见 先 升 级 其 中 一 方 ， 验 证 稳定 性 ， 然 后 再 升级 为 一 方 。 当 然 ， 升 级 之 击 
一 定 要 制定 好 rollback 计 划 ， 留 好 退路 。 

具体 来 说 ， 服 务 疹 新 加 功能 ， 不 一 定 所 有 的 客户 端 都 会 马上 升级 并 
用 上 新 功能 ， 因 此 新 的 服务 并 上 线 之 后 要 保证 和 现 有 的 客户 端的 功能 和 
协议 的 羔 容 性 ， 这 样 才能 平稳 升级 。 系 统 中 的 不 同 组 件 可 能 用 不 同 的 编 
程 语 言 来 编号， 有 时 候 会 把 一 个 组 件 换 一 种 语言 重 写 ， 因 此 应 该 使 用 一 
种 路 语言 的 可 扩展 消息 格 却 。 


9.6.1 可 扩展 的 消息 格 云 


考 谍 服务 端 升级 的 可 能 时 ， 一 种 很 容易 想到 的 做 法 是 在 消 轧 中 放 入 
版 本 号 ， 服务 端 每 次 收 到 消息 ， 移 根 据 版 本 号 做 分 友 〈dispatch) 。 实 
践 证 明 这 种 做 法 是 非常 不 徘 详 的 ， 很 容易 在 服务 端 留 下 一 堆 垃 圾 代码 ， 
时 间 一 长 ， 谁 也 弄 个 清 版 本 之 间 其 体 有 哪些 细微 夺 列 ， 也 不 敢 轻 匈 删 挥 
处 理 旧 版 本 消 恩 的 代码 ， 历 史 包 裕 束 一 直 背 下 去 。 
因此 ， 可 扩展 消 因 格式 的 第 一 条 原则 是 避免 协议 的 版 本 与 ， 人 否则 代 
人 码 里 会 有 一 堆 堆 难以 维护 的 switch-case， 就 像 Google Protocol Buffers 文 
档 举 的 反面 例子 。 
if (version == 3) 1{ 
Eg 
} else if (version > 4) { 
if (version == 5) { 


1 
EE 


} 


男 一 种 第 见 错 误 是 通过 TCP 连 接 友 送 C struct 或 使 用 bit fields。 这 或 
许 是 因为 在 学 习 TCP/IP 协 议和 网 络 编程 的 时 候 ， 书 上 一 般 会 夯 出 IP 
header 和 TCP header， 其 中 就 有 bit fields， 这 给 人 留 下 了 一 个 错误 印象 ， 
似乎 网 络 协 议 应 该 这 么 设计 。 其 实 不 是 这 样 的 ，C struct 和 bit fields 的 缺 
点 很 多 。 其 一 是 不 易 升 级 。 如 果 在 C struct 里 新 加 了 一 些 元 素 ， 通 常 要 求 
客户 疹 和 服务 端 一 起 升级 ， 人 个 则 束 语 言 不 通 了 。 其 二 是 不 路 语言 3。 如 
果 客 户 凯 和 服务 疹 用 不 同 的 语言 来 编写 ， 那么 让 于 CAC++ 语 言 生成 和 解 
析 这 种 消息 格式 是 比较 太 烦 的 。 而 且 更 重要 的 是 需要 时 刻 维护 其 他 语言 


的 打包 、 解 包 代 码 与 CUC++ 头 文件 里 struct 定 义 的 同步 ， 稍 不 注意 驶 会 造 
成 格式 解析 错乱 。 

解决 办 法 是 ， 采 用 茶 种 中 间 语 言 来 朱 述 消息 格式 〈schema) ， 然 后 
生成 不 同 语言 的 解析 与 打包 代码 。 如 末 用 文本 格式 ， 可 以 考虑 JSON 或 
XML; 如 果 用 二 进 制 格式 ， 可 以 考虑 Google Protocol Buffers。 使 用 文本 
格式 的 一 个 常见 问题 是 处 理 转 义 字 从 (escape character) ， 比 如 消 晨 id 
字段 如 果 出 现 '&:， 在 XML 中 要 写成 &amp;。 如 果 公 司 名 字 是 AT&T， 在 
XML 中 要 与 成 <company>AT&amp;IT</company>。 

Google Protobuf 是 结构 化 的 和 二进制 消 奶 格式 =， 莱 顾 性 能 2 与 可 扩展 
性 。 其 文档 中 说 ( 
https://developers.google.com/protocol-buffers/docs/cpptutorial ) : 


Importantly, the protocol buffer format supports the idea of extending 
the format over time in such a way that the code can stil] read data encoded 
with the old format. 


这 种 “中 间 语 言 ? 或 者 叫 “ 数 据 描述 语言 ”定义 的 消息 格式 可 以 有 可 选 
字段 〈optional fields) ， 一 举 解 决 了 服务 闫 和 客户 端 升级 的 难题 。 新 挨 
的 服务 端 可 以 定义 一 些 optional fields， 根 据 请 求 中 这 些 字 段 的 存在 与 否 
来 实施 不 同 的 行为 ， 即 可 同时 兼容 上 昌 厂 和 新 版 的 客户 新。 给 每 个 field 赋 
终生 不 变 的 id 是 保证 羔 容 性 的 绝招 ，Google Protobuf 的 文档 强调 在 升级 
proto 文 件 时 要 注意 3: 


‘yOu must not change the tag numbers of any existing fields. 
“yOu must not add or delete any required fields. 


proto 文 件 瓯 优 C/C++ 动 态 库 的 头 文件 ， 其 中 定义 的 消息 融 是 库 〈 分 
布 式 服务 ) 的 接口 ， 一 旦 发 布 束 个 能 做 有 损 二 进 制 羔 容 性 的 修改 。 因 此 
§11.2 的 知识 可 以 修 用 过 及， 包括 不 能 更 改 已 有 的 enum 类 型 的 成 员 的 值 


PNG 文 件 给 我 们 很 好 的 启示 。PNG 是 一 种 精心 设计 的 三 进 制 文 件 格 
式 ， 文 件 由 一 系列 数据 块 〈chunks) 组 成 ， 每 个 数据 块 的 前 4 个 字 节 表 
示 访 数据 块 的 长 上 度 ， 接 下 来 的 4 个 字 广 代表 该 数据 块 的 类 型 。 PNG 的 解 
译 程 序 会 急 略 那些 上 自己 不 认识 的 数据 块 ， 因 此 PNG 文 件 没 有 版 本 之 说 ， 
不 存在 前 后 版 本 不 莱 容 的 问题 。 

Google Protobuf 是 精心 设计 的 协议 格式 ， 还 体现 在 客 尸 闹 可 以 先 升 
级 ， 发 送 服务 端 不 认识 的 field， 服 务 端 可 以 安全 地 跳 过 这 些 字段 。 


TCP/AP 在 设计 的 时 候 也 在 固定 长 度 的 header 之 后 预 留 了 可 选项 ， 目 
前 广泛 使 用 的 有 window scale 和 timestamp 等 。 


9.6.2 ”反面 教材 : ICE 的 消息 打包 格式 


ICE* 是 一 个 对 象 中 间 件 ， 它 实现 类 似 CORBA 的 跨 语言 、 跨 进程 的 
国 数 调用 。 我 对 ICE 的 设计 及 实现 很 不 以 为 然 。 其 中 一 个 原因 是 它 鬼 
struct field 和 消 数 参数 的 顺序 来 打包 消 晨 ， 难 以 无 痛 升 级 。 一 旦 给 struct 
新 加 一 个 成 员 或 者 给 函数 新 加 一 个 参数 ， 客 户 央 和 服务 闫 必须 同时 升 
级 ， 人 个 则 惑 言 语 不 通 了 。 另 外 一 个 原因 是 它 的 远程 困 数 调用 后 然 能 返回 
弄 间 。 也 束 是 说 ， 当 服务 端的 RPC 函 数 抛 出 异 音 时 ，RPC 机 制 会 捕捉 这 
个 恒 负 ， 通 过 网 络 传送 到 客户 站 ， 在 客户 问 重 新 抛 出 这 个 异 第 。 我 实在 
不 理解 这 种 异 币 捕 捉 下 来 有 何 用 处 ， 客 户 问 可 能 是 Python， 服 务 闪 是 
C++，Python 代 人 码 拿 到 C++ 异 党 能 干什么 ?还 不 如 老 老 实 实 直接 返回 错 
误 代 码 ， 处 理 起 来 更 简单 。 


9.7 分布 了 式 程序 的 目 动 化 回归 测试 


本 市 所 谈 的 “测试 ” 指 的 是 “开发 者 测试 (developer testing) ”， 由 程 
序 员 目 己 来 做 ， 不 是 由 QA 团队 进行 的 系统 测试 。 这 两 种 测试 各 有 各 的 
用 途 ， 不 能 相互 蔡 代 。 

811.1“ 朴 实 的 C++ 设计 ”中 谈 道 : “为 了 确保 正确 性 ， 我 们 画 外 用 Java 
写 了 一 个 测试 夹具 (test harness) 来 测试 我 们 这 个 C++ 程 序 。 这 个 测试 
夹具 模拟 了 所 有 与 我 们 这 个 C++ 程 序 打交道 的 其 他 程序 ， 能 够 测试 各 种 
正常 或 异常 的 情况 。” 

本 市 评 细 介绍 一 下 这 个 test harness 的 做 法 。 


目 动 化 测试 的 必要 性 


我 想 目 动 化 测试 的 必要 性 无 须 资 言 ， 目 动 化 测试 是 absolutely good 
stuff。 

基本 上 ， 要 是 没有 目 动 化 的 测试 ， 我 是 不 敢 改 产品 代 介 的 《〈“ 改 ?所 
括 添 加 新 功能 和 重 构 ) 。 目 动 化 测试 的 作用 是 把 程序 已 经 实现 的 features 
Btest case 的 形式 固化 下 来 ， 将 来 任何 代码 改动 如 采 人 破坏 了 现 有 的 功能 
需求 就 会 触发 测试 failure。 好 比 DNA 双 链 的 互补 关系 ， 这 种 互补 结构 对 
你 持 生 物 遗 传 的 稳定 有 章 要 作用 。 类 似 地 ， 上 自动 化 测试 与 被 测 程序 的 互 


补 结 构 对 保持 系统 的 功能 稳定 有 重要 作用 。 
9.7.1 ”单元 测试 的 能 与 不 能 


一 所 到 自动 化 测试 ， 我 猪 很 多 人 想到 的 是 单元 测试 (unit 
testing) 。 单 元 测试 确实 有 很 大 的 用 处 ， 对 于 解决 某 一 类 型 的 问题 很 有 
帮助 。 粗 略 地 说 ， 单 元 测试 主要 用 于 测试 一 个 函数 、 一 个 class 或 者 相关 
的 几 个 class。 

最 典型 的 是 测试 纯 函 数 ， 比 如 计算 个 人 所 得 税 的 函数 ， 输 入 是 “起 
征 点 、 扣 除 五 险 一 金 之 后 的 应 纳税 所 得 额 、 税 率 表 ”， 输 出 是 应 该 缴 的 
个 税 。 又 比如 ， 我 在 《程序 中 的 日 期 与 时 间 》 的 第 一 章 “ 日 期 计算 ”= 中 
用 单元 测试 来 验证 Julian day number 算 法 的 正确 性 。 再 比如 ， 我 在 《“ 过 
家 家 ?” 厂 的 移动 离线 计 费 系统 实现 》z 和 《模拟 银行 窗口 排队 叫 号 系统 的 
运作 》z 中 用 单元 测试 来 检查 程序 运行 的 结果 是 人 否 符 合 预 期 。 《最 后 这 
个 或 许 不 是 严格 意义 上 的 单元 测试 ， 更 像 是 验收 测试 。) 

为 了 能 用 单元 测试 ， 程 序 代 码 有 时 候 需 要 做 一 些 改动 。 这 对 Java 通 
利 不 构成 问题 〈 反 正 都 编 详 成 jar 文 件 ， 在 运行 的 时 候 指 宪 entry 
point) 。 对 于 C++， 一 个 程序 只 能 有 一 个 main0 入 口 点 ， 要 采用 单元 测 
试 的话 ， 震 要 把 功能 代码 被 测 对 象 ) 做 成 一 个 library， 然 后 让 单元 测 
试 代码 〈 包 食 main0 函 数 ) link 到 这 个 library 上 ; 当然 ， 为 了 正 第 局 动 程 
序 ， 我 们 还 需要 与 一 个 普通 的 main0， 并 link 到 这 个 library 上 。 


单元 测试 的 缺 后 


根据 我 的 个 人 经 验 ， 我 及 现 单元 测试 有 以 下 缺点 。 

阻碍 大 型 重 构 ”单元 测试 是 日 使 测试 ， 测 试 代码 直接 调用 被 测 代 
人 码 ， 宙 试 代码 与 彼 测 代 人 码 紧 灯 合 。 从 理论 上 襄 ,， “测试 ”应 该 只 关心 补 测 
代码 实现 的 功能 ， 不 用 管 它 是 如 何 实现 的 〈 包 括 它 提供 什么 样 的 函数 调 
用 接口 ) 。 比 方 说 ， 以 前 面 的 个 税 计算 亏 孜 数 为 例 ， 作 为 使 用 者 ， 我 们 
只 天 心 它 算 的 结果 是 人 否 正 确 。 但 是 ， 如 果 要 与 单元 测试 ， 测 斌 代码 必须 
调用 被 测 代 码 ， 那 么 测试 代码 必须 要 知道 个 税 计 算 需 的 package、 
class、method name、parameter list、return type 等 等 信息 ， 还 要 知道 如 何 
Ld 以 上 任何 一 点 改动 都会 造成 测试 失败 (编译 束 不 通 
过 ) 。 

在 添加 新 功能 的 时 候 ， 我 们 党 会 午 构 已 有 的 代码 ， 在 你 持原 有 功能 
的 情况 下 让 代码 的 “形状 ”更 适合 实现 新 的 需求 。 一 旦 修改 原 有 的 代码 ， 
里 元 测试 束 可 能 编 详 不 过 : 比如 给 成 员 函 数 或 构造 范 数 诬 加 一 个 参数 ， 


或 者 把 成 员 函 数 从 一 个 class 移 到 为 一 个 class。 对 于 Java， 这 个 问题 还 比 
较 好 解决 ， 因为 IDE 的 重 构 功 能 很 强 ， 能 目 动 找到 references， 并 修改 


a 

对 于 C++， 这 个 问题 更 为 严重 ， 因 为 一 改 功能 代码 的 接口 ， 单 元 测 
试 吏 编 详 不 过 了 ， 而 C++ 通 音 没有 目 动 重 构 工 共 《〈 语 法 太 复 杂 ， 语 意 大 
微妙 〉 可 以 帮 有 我 们 ， 都 得 手动 来 。 要 么 每 改动 一 点 功能 代码 殉 修 复 单 元 
测试 ， 让 编译 通过 ; 要么 留 痢 单元 测试 编译 不 通过 ， 先 把 功能 代码 改 成 
我 们 想 要 的 样子 ， 再 来 统一 修复 单元 测试 。 

这 两 种 做 法 都 有 困难 ， 前 者 ，C++ 编 译 缓慢 ， 如 果 每 改动 一 点 驳 修 
复 单 元 测试 ， 一 天 下 来 也 前 进 不 了 几 步 ， 很 多 时 间 都 当 费 在 了 等 待 编 详 
上 ;后 者 ， 问 题 更 严重 ， 单 元 测试 与 航 汕 代码 的 互补 性 是 保证 程序 功能 
稳定 的 关键 ， 如 果 大 幅 修 改 功能 代码 的 同时 又 大 幅 修 改 了 单元 测试 ， 那 
么 如 何 保证 前 后 的 单元 测试 的 效果 【测试 点 ) 不 变 ? 如 果 单 元 测试 目 吴 
的 代码 友 生 了 改动 ， 如 何 保证 它 测 试 结果 的 有 效 性 ?会 不 会 菜 个 手 误 让 
功能 代码 和 单元 测试 犯 了 相同 的 错误 ， 人 负 负 得 正 ， 测 试 结果 还 是 绿 的 ， 
但 是 实际 功能 已 经 完 了 红 灯 ? 难道 我 们 要 为 单元 测试 编 与 单元 测试 吗 ? 

有 时 候 ， 我 们 需要 重新 设计 并 重 写 菏 个 程序 《有 可 能 换 用 另 一 种 语 
言 ) 。 这 时 候 旧 代码 中 的 单元 测试 完全 作废 了 《代码 结构 及 生 巨大 改 
变 ， 其 至 连 编程 语言 都 换 了 ) ， 其 中 包含 的 宝 喧 的 业务 知识 也 付 之 东 
流 ， 纪 不 可 展 ? 

为 了 方便 测试 而 施行 依赖 注入 ， 破 坏人 代码 的 整体 性 ”为 了 让 代码 
其 有 “可 测试 性 *”， 我 们 党 会 使 用 依赖 注入 技术 ， 这 么 做 的 好 处 据 议 
是 “ 解 熄 ”?”， 坏 处 束 是 荐 名 了 代码 的 逻辑 : 单 看 一 块 代 码 不 知道 它 是 干 听 
的 ， 它 依赖 的 对 象 不 知道 是 在 哪儿 创建 的 ， 如 果 一 个 interface 有 多 个 实 
现 ， 不 到 运行 的 时 候 不 知道 用 的 古 哪个 实现 。 动 态 绑 定 的 初衷 束 古 如 
此 ， 想 来 读 过 “以 面 同 对 象 思想 实现 ”的 代码 的 人 都 明日 我 在 说 什么 。) 

以 87.3“Boost.Asio 的 聊天 服务 右 ” 中 出 现 的 聊天 服务 器 ChatServer 为 
例 ，ChatServer 特 接 使 用 了 muduo::net::TcpServer 和 
muduo::net::TcpConnection 来 处 理 网 络 连接 并 收发 数据 ， 这 个 设计 简单 
直接 。 如 采 要 为 ChatServer 写 单元 测试 ， 那 么 首先 它 肯 定 不 能 在 构造 函 
数 里 初始 化 TcpServer 了 。 

稍微 复杂 一 点 的 测试 要 用 mock object ChatServer 用 TcpServer 和 和 
TcpConnection 来 收发 消 和 县， 为 了 能 单元 测试 ， 我 们 要 为 TcpServer 和 
TcpConnection 提 供 mock 实 现 ， 原 本 一 个 具体 类 TcpServer 束 变 成 了 一 个 
TcpServer interface 加 两 个 实现 TcpServerImp1l 和 TcpServerMock， 同 理 
TcpConnection 也 一 化 为 三 。ChatServer 本 身 的 代码 也 变 得 复杂 ， 我 们 要 
设法 把 TcpServer 和 TcpConnection 注 入 其 中 ，ChatServer 不 能 目 己 初始 化 


- 


TcpServer 对 象 。 

这 谷 怕 是 在 C++ 中 使 用 单元 测试 的 主要 困难 之 一 。Java 有 动态 代 
理 ， 还 可 以 用 cglib 来 操作 字 节 码 以 实现 注入 。 而 C++ 比较 原始 ， 只 能 自 
己 手工 实现 interface 和 implementations。 这 样 原本 紧 竣 的 以 concrete class 
构成 的 代码 结构 因为 单元 测试 的 需要 而 变 得 松散 〈 所 谓 “ 面 癌 接 口 编 
时? 呆 ) ， 而 这 么 做 的 目的 仅仅 是 为 了 满足 “源码 级 的 可 测试 性 ”， 是 不 
是 有 一 点 因 小 失 大 呢 ? (这 里 且 芹 时 忽略 虚 函 数 和 普通 函数 在 性 能 上 的 
些微 堪 别 。〉 对 于 不 同 的 test case， 可 能 还 需要 不 同 的 mock 对 象 ， 比 如 
TcpServerMock 和 TcpServerFailureMock， 这 又 增加 了 编码 的 工作 量 。 

此 外 ， 如 末 程 序 中 用 到 的 涉及 IO 的 第 三 方 库 没 有 以 interface 方 式 骏 
露 接口 ， 而 是 直接 提供 的 concrete class (这 是 对 的 ， 因 为 C++ 中 应 该 “各 
倪 使 用 虚 浮 数 作为 库 的 接口 ?， 见 811.3)〉 ， 这 也 让 编写 单元 变 得 困难 ， 
为 总 不 能 目 己 换个 wrapper 一 过 吧 ? 难道 用 link-time 的 注入 技术 ? 

菏 些 failure 场 景 难以 测试 ”而 考察 这 些 场 景 对 编写 稳定 的 分 布 式 
系统 有 重要 作用 。 比 方 说 : 网 络 连 不 上 、 数 据 库 超时 、 系 统 资 源 不 足 。 
对 多 线程 程序 无 能 为 力 ” 如果 一 个 程序 的 功能 涉及 多 个 线程 合 

作 ， 那 么 束 比 较 难 用 单元 测试 来 验证 其 正确 性 。 

如 果 程 序 涉 及 比较 多 的 交互 〈 指 和 其 他 程序 交互 ， 不 是 指 图 形 用 户 
界面 ) ， 用 单元 测试 来 构造 测试 场景 比较 态 烦 ， 每 个 场 孙 要 与 一 堆 无 趣 
的 代码 。 而 这 正 古 分 布 式 系 统 最 需要 测试 的 地 方 。 

忌 的 来 说 ， 蛙 元 测试 是 一 个 值得 掌握 的 技术 ， 用 在 适当 的 地 方 确实 
0 同时 ， 在 分 布 式 系统 中 ， 我 们 还 需要 其 他 的 目 动 化 测试 

汉 。 


9.7.2 “分布 式 系统 测试 的 要 点 


在 分 布 式 系统 中 ，class 与 function 级 别 的 单元 测试 对 整个 系统 的 大 
助 不 大 。 这 种 单元 测试 对 单个 程序 的 质量 有 帮助 ， 但 是 ， 一 堆 砖 头 垒 在 
一 起 是 变 不 成 大 楼 的 。 

分 布 式 系统 测试 的 要 点 是 测试 进程 间 的 交互 : 一 个 进程 收 到 客户 请 
求 ， 该 如 何 处理 ， 然 后 转发 给 其 他 进程 ; 收 到 啊 应 之 后 ， 又 修改 并 应 答 
客户 。 测 斌 这 些 多 进程 协作 的 场景 才 算 汕 到 了 点 子 上 。 

假设 一 个 分 布 式 系统 由 四 五 种 进程 组 成 ， 每 个 程序 有 各 目的 开发 人 
员 。 对 于 整个 系统 ， 我 们 可 以 用 脚本 来 模拟 客户 ， 目 动 化 地 测试 系统 的 
ee 这 种 测试 通 利 由 QA 团 队 来 执行 ， 也 可 以 作为 系统 的 冒 
烟 测 试 。 

对 于 其 中 每 个 程序 的 开发 人 员 ， 上 述 测试 方法 对 日 彰 的 开发 帮助 不 


大 。 因 为 测试 要 能 通过 ， 必 须 整 个 系统 都 正音 运转 才 行 ， 在 开 友 阶段 ， 
这 一 氮 不 定时 时 刻 到 邦 月 满足 的 〈 有 可 能 你 用 到 的 新 功能 对 方 还 没有 实 
现 ， 这 上 反 过 来 影响 了 你 的 进度 ) 。 为 一 方面 ， 如 末 出 现 测 试 失败 ， 开 发 
人 员 不 能 立刻 知道 这 是 目 己 的 程序 出 销 《〈 也 有 可 能 是 环境 原因 造成 的 铬 
误 ) ， 这 通常 要 去 读 程 序 日 志 才 能 判定 。 还 有 ， 作 为 开 友 者 测试 ， 我 们 
硕 望 它 无 副作用 ， 每 天 反复 多 次 运行 也 不 会 增加 整个 环境 的 负担 ， 以 整 
En 些 二 圾 数据 ， 而 清理 这 些 数 
据 又 会 化 一 些 宝 贯 的 工作 时 间 。 (你 各 人 
是 别人 的 测试 贸 8 下 的 ， 不 能 误 删 了 列 人 的 测试 数据 。 

作为 开发 人 员 ， 我 们 需要 一 简单 入 名 对 自己 编写 的 那个 程序 的 自动 
化 测 斌 方案， 一 方面 提高 日 前 开发 的 效率 ， 另 一 方面 作为 目 己 那个 程序 
的 功能 难 证 测试 集 ， 以 及 回归 测试 (regression tests) 。 


9.7.3 ”分 布 式 系 统 的 抽象 观点 
一 从 机 右 两 根 线 
形象 地 来 看 〈 见 图 9-12〉， 一 个 分 布 式 系统 就 是 一 堆 机 桌 ， 每 全 机 


侨 有 的 “屁股 "上 拖 着 两 根 线 : 电源 线 和 网 线 〈 不 考虑 SAN 等 存储 设备 ) ， 
电源 线 搬 到 电源 插座 上 ， 网 线 搬 到 交换 机 上 。 





二 Ethernet 


\J 





这 个 模型 实际 上 说 明 ， 一 台 机 器 、 一 个 程序 表现 出 来 的 行为 完全 由 
它 接 出 来 的 两 根 线 展现 ， 本 书 不 谈 电 源 线 ， 只 谈 网 线 。【〔“ 在 乎 服务 器 
的 功 耗 * 在 我 看 来 束 是 公司 利润 率 很 低 的 标志 ， 要 从 电费 上 抠 成 本 。) 

如 果 网 络 是 普通 的 千 兆 以 太 网 ， 那 么 吞吐 量 不 大 于 125MB/s。 这 个 


行 吐 量 比 起 现在 的 CPU 运算 速度 和 内 存 市 蜗 人 简直 小 得 可 怜 。 这 里 我 想 提 
的 是 ， 对 于 不 特别 在 意 latency 的 应 用 ， 只 要 能 让 干 兆 以 太 网 的 吞吐 量 多 
和 或 接近 饱和 ， 用 什么 编程 语言 3 其 实 无 所 谓 、 Java 做 网 络 服务 问 开 发 也 
是 很 好 的 选择 (不 是 指 Web 开 发 ， 而 是 做 一 些 基 础 的 分 布 式 组 件 ， 例 如 
ZooKeeper 和 Hadoop 之 类 ) 。 尺 害 可 能 C++ 只 用 了 15% 的 CPU， 而 Java 用 
了 30% 的 CPU，Java 还 占用 更 多 的 内 存 ， 但 是 干 兆 网卡 市 时 部 已 经 跑 
满 ， 那 些 管 下 的 资源 也 只 能 浪 刁 了 ; 对 于 外 界 (从 网 线 上 看 来 ) 而 言 ， 
两 种 语言 的 效果 是 一 样 的 ， 而 通常 Java 的 开发 效率 更 高 。 Java 比 C++ 慢 
一 些 ， 但 是 通过 王 兆 网 络 不 一 定 能 看 得 出 这 个 区 别 来 。 同 样 的 道理 ， 单 
机 程序 的 未 些 “ 性 能 优化 ?不 一 定 真能 提高 系统 整体 表现 出 来 的 、 能 被 观 
察 到 的 性 能 ， 这 也 是 本 书 基本 不 谈 微 观 性 能 优化 的 主要 原因 。 人 
Ph 页 然 投 入 优化 往往 是 浪费 时 间 和 精力 ， 还 耽误 了 项 目 进 


进程 间 通 过 TCP 相 互 连 接 
我 在 83.4 提 倡 仪 使 用 TCP 作 为 进程 间 通 信 的 手段 ， 此 处 这 个 观点 将 


再 次 得 到 验证 。 
图 9-13 是 Hadoop 的 分 布 i 系统 HDFS 的 染 构 集 图 。 
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图 9-13 


HDFS 有 四 个 角 包 参 忆 其 中 ，NameNode〔 保 存 元 数据 ) 、 
DataNode (存储 节点 ， 多 个 ) 、Secondary NameNode (定期 写 check 
point) 、Client〈 宫 户 ， 系 统 的 使 用 者 ) 。 这 些 进程 运行 在 多 人 台 机 器 
上 ， 之 间 通 过 TCP 协 议 互联 。 程 序 的 行为 完全 由 它 在 TCP 连 接 上 的 表现 
雇 定 《ITCP 瓯 好比 前 面 棍 到 的 “网 线 ”) 。 


在 这 个 系统 中 ， 一 个 程序 其 实 不 知道 与 日 己 打 交道 的 到 底 古 什么 。 
比如 ， 对 于 DataNode， 它 其 实 不 在 乎 目 己 连接 的 是 真 的 NameNode 还 是 
基 个 调皮 的 小 孩 用 Telnet 模 拟 的 NameNode， 它 只 管 接 受命 令 并 执行 。 对 
于 NameNode， 它 其 实 也 不 知道 DataNode 是 不 是 真 的 把 用 户 数据 存 到 磁 
横 上 去 了 ， 它 只 需要 根据 DataNode 的 及 人 馈 更 狐 目 己 的 元 数据 束 行 。 这 已 
经 为 我 们 指明 了 方 同 。 


9.7.4 一 种 日 动 化 的 回归 测试 方案 
假如 我 是 NameNode 时 开发 者 ， 为 了 能 目 动 化 测试 NameNode， 我 可 
以 为 它 写 一 个 test harness 《这 是 一 个 独立 的 进程 》》， 这 个 test harness 仿 


慎 (mock)〉 了 与 被 测 进 程 打交道 的 全 部 程序 。 如 图 9-14 所 示 ， 十 不 征 有 
扩 像 “ 虹 中 之 脑 *? 


人 Mock 


人 | 
| NameNode “一 一 Sec. 
要 y Name- 
Mock : 7 Node 


Client 





Mock DataNode1 DataNodez DataNode3 
Test Harness for NamelNode 


图 9-14 


对 于 DataNode 的 开发 者 ， 他 们 也 可 以 写 一 个 专门 的 test harness， 模 
拟 Client 和 NameNode 〈 见 图 9-15) 。 


Test Harness for DataNode Mock 
NameNode 


Mock , 
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图 9-15 


test harness 的 优点 


:完全 从 外 部 观察 被 测 程序 ， 对 补 测 程序 没 有 侵入 性 ， 代 人 码 该 怎么 
与 吏 怎 么 写 ， 不 需要 为 测试 留 路 。 

能 测试 真实 环境 下 的 表现 ， 程 序 不 是 单独 为 测试 编译 的 版 本 ， 而 
是 将 来 真实 运行 的 碑 本 。 数 据 也 是 从 网 络 上 该 取 ， 发 送 到 网 络 上 。 

:允许 被 测 程 序 做 大 的 重 构 ， 以 优化 内 部 代码 结构 ， 只 要 其 表现 出 
来 的 行为 不 变 ， 测 斌 就 不 会 失败 。 (在 重 构 期 间 不 用 修改 test case。) 

:能 比较 方便 地 测试 failure 场 景 。 比 如 ， 奉 要 测试 DataNode 出 错时 
NameNode 的 反应 ， 只 要 让 test harness 模 拟 的 那个 mock DataNode 返 回 我 
们 想 要 的 出 销 信 息 。 要 测试 NameNode 在 某 个 DataNode 失 效 之 后 的 反 
应 ， 只 要 计 test harness 断 开 对 应 的 网 络 连接 即 可 。 要 测量 某 请 求 超时 的 
反应 ， 只 要 计 test harness 个 返回 结果 即 可 。 这 对 构建 可 徘 的 分 布 式 系 统 

: 玫 助 开发 人 员 从 使 用 者 的 角度 理解 程序 ， 程 序 的 哪些 行为 在 外 部 
是 看 得 到 的 ， 哪 些 行为 是 看 不 到 的 。 

“有 J 了 一 做 比较 完整 的 test cases 之 后 ， 甚 至 可 以 换 种 语言 重 写 被 测 程 
序 〈 假 设 为 了 提高 内 存 利用 雍 ， 换 用 C++ 来 重新 实现 NameNode) ， 测 
试用 例 依旧 可 用 。 这 时 test harness 起 到 知识 传承 的 作用 。 

:上 友 现 bug 之 后 ， 往 test harness 里 浦 加 能 复 现 bug 的 test case， 修 复 bug 
之 后 ，test case 继 续 留 在 harness 中 ， 防 止 出 现 回 归 (regression)。 


实现 要 局 


:test harness 的 要 点 在 于 阳 靳 被 测 程序 与 其 他 程序 的 联系 ， 它 冒充 了 

涡 基 他 程 厅 。 这 样 被 测 程 序 就 像 被 放 到 测试 台 上 观察 一 样 ， 让 我 们 只 
征 蕊 一个， 

test harness 要 能 发 起 或 接受 多 个 TCP 连 接 ， 可 能 需要 用 某 个 现成 的 
NIO 网 络 库 ， 如 果 不 想 写成 多 线程 程序 的 话 。 

test harness 可 以 与 被 测 程序 运 行 在 同一 人 台 机 研 ， 也 可 以 运行 在 两 合 
机 需 上 。 在 运行 被 测 程序 的 时 候 ， 可 能 要 用 一 个 特殊 的 局 动 脚本 把 它 依 
新 的 host:port 指 同 test harness。 

test harness 只 需要 表现 得 跟 它 要 mock 的 程序 一 样 ， 不 需要 真有 的 去 实 
现 复 杂 的 逻辑 。 比 如 mock DataNode 只 需要 对 NameNode 返 回 “Yes sir， 
数据 已 存 好 ”， 而 不 需要 真 的 把 数据 存 到 人 硬盘 上 。 硅 要 mock 比 较 复 森 的 
逻辑 ， 可 以 用 “记录 + 回放 ”的 方式 ， 把 预 设 的 啊 应 放 人 到 test case 里 回放 

(replay) 给 锐 测 程序 。 


.因为 通信 走 TCP 协 议 ，test harness 不 一 定 要 和 被 测 程序 用 相同 的 语 
言 ， 只 要 符合 协议 束 行 。 试 想 如 果 用 共计 内 存 实 现 IPC， 这 是 不 可 能 
的 。 本 书 $7.6 提 到 利用 Protobuf 的 路 语言 特性 ， 我 们 可 以 采用 Java 为 
C++ 服务 程序 编写 test harness。 其 他 跨 语 言 的 协议 格式 也 行 ， 比 如 XML 
或 JSON。 

test harness 运 行 起 来 之 后 ， 等 待 极 测 程序 的 连接 ， 或 者 主动 连接 极 
测 程 序 ， 或 者 痰 而 有 之 ， 取 决 于 所 用 的 通信 方式 。 

一切 束 绪 之 后 ，test harness 依 次 执行 test cases。 一 个 NameNode test 
case 的 典型 过 程 是 : test harness 模 仿 client 辐 被 测 NameNode 发 送 一 个 请 求 

(如 创建 文件 ) ，NameNode 可 能 会 联络 mock DataNode，test harness 模 

仿 DataNode 应 有 的 啊 应 ，NameNode 收 到 mock DataNode 的 反馈 之 后 发 送 
啊 应 给 client， 这 时 test harness 检 和 查 啊 应 是 人 否 符 合 预期 。 

test harness 中 的 test cases 以 配置 文件 〈 每 个 test case 有 一 个 或 多 个 文 
本 配置 文件 ， 每 个 test case 占 一 个 日 录 ) 方式 指定 。test harness 和 test 
cases 连 同 程序 代码 一 起 用 version control 工 具 管 理 起 来 。 这 样 能 复 现 以 外 
任何 一 个 版 本 的 应 有 行为 。 

:对 于 比较 复杂 的 testcase， 可 以 用 租 入 却 脚 本 语言 来 摘 述 场景 。 如 
果 testharness 是 用 Java 写 的 ， 那 么 可 以 舱 入 Groovy， 束 像 笔 者 在 《“ 过 家 
家 ”版 的 移动 离线 计 费 系统 实现 》 “(地址 见 此 处 脚注 76) 中 用 Groovy 实 
现 计 费 泌 辑 一 样 。Groovy 调 用 test harness 模 拟 多 个 程序 分 别 发 送 多 份 数 
据 并 验证 结果 ，Groovy 本 刁 了 怠 是 程序 代码 ， 可 以 有 逻辑 判断 甚至 循环 。 
人 动 的 做 法 在 不 增加 test harness 复 杂 虔 的 情况 下 提供 了 相当 高 

jj 天 活性 。 

test harness 可 以 有 一 个 命令 行 界面 ， 程 序 员 输入 “run 10? 残 选择 执 

行 第 10 写 test case。 


几 个 实例 


test harness 这 种 测试 方法 适合 测试 有 状态 的 、 与 多 个 进程 通信 的 分 
布 式 程序 ， 除 了 Hadoop 中 的 NameNode 与 DataNode， 我 还 能 想到 几 个 例 
了 


chat 聊 天 服务 如 。” 聊天 服务 如 会 与 多 个 客户 闹 打 交 建 ， 我 们 可 以 用 
test harness 模 拟 5 个 客户 问 ， 模 拟 用 户 上 下 线 、 帮 这 消 明 等 情况 ， 目 动 测 
试 聊天 服务 占有 的 功能 。 

连接 服务 硕 、 登 录 服 务 右 、 逻 和 辑 服务 器 ”这 是 云 风 在 他 的 blog 中 
提 到 的 三 种 网 游 服务 需 2， 我 这 里 倍 用 来 举例 子 。 

如 果 要 为 连接 服务 器 写 test harness， 那 么 需要 模拟 客户 〈 人 发 起 连 


接 ) 、 登 录 服 务 需 〈 验 证 客户 资料 ) 、 团 辑 服务 器 〈 收 友 网 洲 数 据 ) ， 
有 了 这 样 的 test harness， 可 以 方便 地 测试 连接 服务 咒 的 正确 性 ， 也 可 以 
方便 地 模拟 其 他 各 个 服务 亏 断 开 连 接 的 情况 ， 看 看 连接 服务 万 是 否 应 对 


目 如 。 

同样 的 思路 ， 可 以 为 登录 服务 需 与 test harness。 〈 我 估计 不 用 为 多 
和 辑 服务 夯 再 号 了 ， 因 为 肯定 已 经 有 上 自动 测试 了 了。 ) 

见 87.12 的 一 个 具体 示例 。 

多 master 之 间 的 二 段 所 交 ”这 是 分 布 式 容错 的 一 个 经 典 做 法 。 用 
test harness 能 把 primary master 和 secondary masters 蛙 独 擒 出 来 测试 。 在 测 
试 primary master 的 时 候 ，test harness 扮 演 name service 和 secondary 
masters。 在 测试 secondary master 的 时 候 ，test harmness 扮 演 name service、 
primary master、 其 他 secondary masters。 可 以 比较 容易 地 测试 各 种 failure 
情况 。 如 采 不 这 么 做 ， 而 直接 部 童 多 个 masters 来 测试 ， 愁 介 很 难 做 到 目 
动 化 测试 。 

Pax0s 有 的 实现 ”Paxos 协 议 的 实现 肯定 离 个 了 单元 测试 ， 因 为 涉及 多 
个 角色 中 比较 复 林 的 状态 变迁 。 同 时 ， 如 果 我 要 写 Paxos 实 现 ， 那 么 test 
harness 也 古 少 不 了 的 ， 它 能 目 动 测试 Paxos 市 点 在 真实 网 络 坏 境 下 的 表 
巩 ， 并 且 轻 松 模 拟 各 种 failure 场 景 。 


局 限 性 


如 果 被 测 程序 有 TCP 之 外 的 IO， 或 者 其 TCP 协 议 不 易 模 拟 〈( 比 如 通 
过 TCP 连 接 数 据 库 ) ， 那 么 这 种 测试 方案 会 受到 干扰 。 

对 于 数据 库 ， 如 采 航 测 程序 只 是 简单 地 从 数据 库 SELECT 一 些 配置 
信息 ， 那 么 或 许可 以 在 test harness 里 内 舱 一 个 in-memory H2 DB engine， 
然后 让 被 测 程序 从 这 里 谈 取 数据 。 当 然 ， 前 提 是 被 名 程 序 的 DB driver 能 
连 上 H2 〈 或 许 不 是 大 问题 ，H2 文 持 JDBC 和 部 分 ODDBC) 。 如 果 被 测 程 
序 有 比较 复杂 的 SQL 人 代码， 那么 H2 表 现 的 行为 不 一 定 和 生产 环境 的 数 气 
库 一 致 ， 这 时 候 人 就 避 还 是 要 部 彰 测 试 数据 库 〈( 有 可 能 为 每 个 开发 人 员 部 
著 一 个 小 的 测 斌 数据库， 以免 相互 干扰 〉。 

如 有 末 被 测 程序 有 其 他 IO 〔〈 写 log 不 算 ) ， 比 如 DataNode 会 访问 文件 
系统 ， 那 么 test harness 没 有 能 把 DataNode 完 整地 包 囊 起来， 有些 failure 
case 不 是 那么 容易 测试 的 。 这 时 或 许可 以 把 DataNode 指 同 tmpfs， 这 样 能 
比较 容易 地 测试 破 盘 满 的 情况 。 当 然 ， 这 样 也 有 局 限 性 ， 因 为 tmnpfs 没 
有 真实 磁盘 那么 大 ， 也 不 能 模拟 人 厂 盘 恋 写 销 误 。 我 不 是 分 布 式 人 存储 方面 
的 专家 ， 这 些 问 题 留 给 分 布 式 文件 系统 的 实现 者 去 考虑 吧 。 测试 
Paxos 节 点 似乎 也 可 以 用 tmpfs 来 模拟 persist storage， 由 test case 填 充 所 雷 


的 禄 始 数据 。 ) 
9.7.5 ”其 他 用 处 


test harness 除 了 实现 features 的 回归 测试 外 ， 还 有 别 的 用 处 。 

加 速 开发 ， 提 高 生产 力 ”前面 提 到 ， 如 果 有 个 新 功能 《增加 一 种 
新 的 request type) 需要 改动 两 个 程序 ， 有 可 能 造成 相互 等 待 : 客户 程序 
A 说 要 先 等 服务 程序 B 实 现 对 应 的 功能 啊 应 ， 这 样 A 才 能 发 送 新 的 请 求 ， 
不 然 每 次 请 求 束 会 被 拒绝 ， 无 法 测试 :服务 程序 B 说 要 先 等 A 能 够 发 送 
狐 的 请 求 ， 这 样 日 己 才 能 开始 编码 与 测试 ， 不 然 都 不 知道 请 求 长 什么 样 
子 ， 也 触发 不 了 新 写 的 代码 。 (当然 ， 这 是 我 虚构 的 例子 。) 

如 果 A 和 B 都 有 各 目的 test harness， 事 情 束 好 办 了 ， 双 方 大 致 商量 一 
个 协议 格式 ， 然 后 分 头 编码 。 程 序 A 的 作者 在 上 自己 的 harness 里 边 谎 加 一 
个 test case， 模 拟 他 认为 B 应 有 的 啊 应 ， 这 个 啊 应 可 以 hard code 某 种 最 党 
见 的 啊 应 ， 不 必 真 的 实现 所 需 的 判断 还 辑 〈 毕 葛 这 是 程序 B 的 作者 访 于 
的 事情 )， 然 后 程序 A 的 作者 就 可 以 编码 并 测试 目 己 的 程序 了 。 同 理 ， 
程序 B 的 作者 也 不 用 等 A 拿 出 一 个 半成品 来 发 送 新 请 求 ， 他 往 目 己 的 
harness 添 加 一 个 test case， 模 拟 他 认为 A 应 该 发 送 的 请 求 ， 然 后 束 可 以 编 
公 并 测试 目 己 的 新 功能 了 了。 双方 齐 尖 并 进 ， 减 少 扯 皮 。 等 功能 实现 得 到 
不 多 了 ， 两 个 程序 互相 连 一 连 ， 如 有 果 发 现 协议 不 一 致 ， 检 栓 一 下 harness 
中 的 新 test cases (这 代表 了 A/B 程 序 对 对 方 的 预期 ) ， 看 看 哪 边 改动 比 
较 方 便 ， 很 快 束 能 解决 问题 。 

压力 测试 testharness 稍 加 改进 还 可 以 变 功能 测试 为 压力 测试 ， 供 
程序 员 profiling 用 。 比 如 反复 不 间断 发 送 请 求 ， 回 逢 测 程序 加 压 。 不 
过 ， 如 果 被 测 程序 是 用 C++ 写 的 ， 而 test harness 古 用 Java 写 的 ， 有 可 能 
出 现 test harness 占 100%CPU， 而 被 测 程 序 还 跑 得 优 声 游 起 的 情况 。 这 时 
候 可 以 单独 用 C++ 写 一 个 负载 生成 噩 。 


小 结 
以 单独 的 进程 作为 test harness 对 于 开发 分 布 式 程 序 相 当 有 帮助 ， 它 


能 达到 单元 测试 的 目 动 化 程度 和 细致 程度 ， 义 避免 了 单元 测试 对 功能 代 
但 结构 的 侵入 与 依赖 。 


9.8 “分 布 式 系统 部 署 、 监 控 与 进程 管理 的 几 重 境 


| 


约定 : 本 节 只 考虑 Linux 系 统 ， 文 中 涉及 的 “服务 程序 ”是 以 C++ 或 
Java 编 与 的 ， 编 详 成 二 进 制 可 执行 文件 (binary 或 jar) ， 程 序 局 动 的 时 
候 一 般 会 谈 取 配置 文件 〈 或 者 以 其 他 方式 获得 配置 信息 ) ， 同 一 个 程序 
每 个 服务 进程 的 配置 文件 可 能 略 有 不 同 。“ 服 务 堪 ”这 个 词 有 多 重合 义 ， 
为 避免 混 消 ， 本 市 以 host 指 代 服 务 大 人 硬件 ， 以 “服务 病程 序 / 进程 ? 指 代 
服务 器 软件 (或 者 具体 说 Web Server 和 Sudoku Solver， 这 两 个 都 是 服务 
软件 ) 。 

在 进入 正题 之 前 ， 先 看 一 个 虚构 但 典型 的 例子 : SudokuSolver。 

(SudokuSolver 是 个 均 质 的 无 状态 服务 ， 分 布 式 系统 中 进程 的 状态 迁移 
不 是 本 市 的 主题 。) 

假设 你 们 公司 的 分 布 陈 系统 中 有 一 个 专门 求解 数 独 〈Sudoku) 的 服 
务 程序 ， 这 个 程序 是 你 们 团队 开发 并 维护 的 。 通 单 Web Server 会 使 用 这 
个 Sudoku Solver 提 供 的 服务 ， 用 户 通过 Web 页 面 提交 一 个 Sudoku 谜 题 ， 
Web Server 转 而 同 Sudoku Solver 寻 求 答案 。 每 个 Web Server 会 同时 跟 多 
个 Sudoku Solver 了 联系， 以 实现 负载 均衡 。 系 统 的 消 因 收发 关系 大 人 改 如 图 
9-16 所 示 ， 每 个 矩形 是 一 个 进程 ， 运 行 在 各 上 自 的 host 上 。 
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图 9-16 


图 9-16 中 的 Web Server 请 不 要 价 单 理解 为 httpd 十 cgi， 它 其 实 泛 指 一 
切 客 户 症 ， 其 本 号 可 能 是 个 stateful 的 服务 程序 
当然 ， 系 统 不 是 一 开始 就 是 这 样 的 ， 它 经 历 了 多 步 演化 。 


1. 最 开始 的 时 候 ，Sudoku 求 解 直接 在 Web Server 内 完成 。 后 来 为 
了 提高 负载 能 力 ， 把 Sudoku 单 独 做 成 服务 。 一 开始 系统 规模 很 小 ， 只 有 
一 个 Sudoku Solver， 也 只 有 一 人 台 Web Server， 有 是 个 简单 的 一 对 一 
(1 ; 1) 的 使 用 关系 ， 如 网 9-17 所 示 。 
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图 9-17 


2. 随后 ， 随 着 业务 量 增 加 ， 一 人 台 host 不 堪 重 负 ， 于 是 又 部 奢 了 儿 侣 
Sudoku Solver， 变 成 了 一 对 多 (1 : N) 的 使 用 六 系 ， 如 图 9-18 所 示 。 
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图 9-18 


3. 有 再 后 来 ， 一 台 Web Server 择 不 住 了 ， 于 是 部 普 了 几 从 Web 
Server， 形 成 了 我 们 一 开始 看 到 的 图 9-16 中 的 多 对 多 (M : N) 的 使 用 天 


人 so 


在 分 布 式 系统 中 部 团 并 运行 Sudoku Solver， 需 要 考虑 以 下 几 个 问 
十 : 

:Sudoku Solver 如 何 部 署 到 多 台 host 上 运行 ? 是 把 可 执行 文件 拷贝 过 
去 吗 ? 程序 用 到 的 库 怎么 办 ? 配置 文件 怎么 办 ? 

:如何 启动 服务 程序 Sudoku Solver? 如 果 每 个 Solver 的 配置 文件 稍 有 
不 同 《 比 如 每 个 Solver 有 自己 的 service name) ， 那 么 配置 文件 是 上 自动 生 
成 吗 ? 

“Sudoku Solver 的 listening port 如 何 配置 ? 如何 保证 它 不 与 其 他 服务 
程序 重复 ? 

:如 条 程序 crash， 谁 来 重 司 ? 能 个 目 动 重启? 开发 / 运 维 人 员 能 
及 时 收 到 alert? 

-如果 想 主 动 重启 Sudoku Solver， 要 不 要 登录 到 那 人 台 host 上 支 kill? 
还 是 能 够 远程 控制 ? 
如果 要 升级 Sudoku Solver 程 序 ， 如 何 重 新 部 闭 ? 如 何 (尽量) 做 
到 不 中 上 断 服务 ? 


-Web Server 如 何 知 道 那些 Sudoku Solver 的 地 址 ? 是 不 是 静态 写 到 
Web Server 的 配置 文件 里 ? 

:如 果 Sudoku Solver 所 在 的 host 有 发 生 人 硬件 故障 ， 管 理 人 员 是 售 能 立刻 
得 知 这 一 状况 ?Web Server 能 否 自 动 failover 到 其 他 alive 的 Solver 上 ? 

:部 普 新 的 Sudoku Solver 之 后 ，Web Server 能 售 目 动 开始 使 用 新 的 
Solver 而 无 须 重 启 ? (重启 Web Server 似 乎 不 是 大 问题 ， 这 里 我 们 进 一 
步 考 虑 client 是 个 有 状态 的 服务 ， 应 该 尽量 避免 无 请 的 重启 。) 

程序 可 否 安 全 地 退役 ?比方 说 公司 不 再 做 求解 Sudoku 的 业务 ， 那 
么 关闭 全 部 Sudoku Solver 会 不 会 对 其 他 业务 造成 影 啊 ? 


这 些 问 题 可 以 大 致 归 绪 为 儿 个 方面 : 部 着 〈( 含 升 级 ) 可 执行 文件 与 
配置 文件 、 监 控 进 程 状 态 、 管 理 服 务 进 程 ， 故 障 啊 应 ?3， 这 些 合 起 来 可 
称 为 运 维 (operation ) 。 

根据 公司 的 规模 和 技术 水 平 不 同 ， 分 布 式 系统 的 运 维 分 为 几 重 境 
界 ， 以 下 是 我 对 各 重 境界 的 简要 摘 述 。 


9.8.1 境界 1: 全 手工 操作 


这 个 大 概 是 噩 校 实验 室 的 水 平 ， 分 布 式 系统 的 规模 不 大 ， 可 能 十 来 
台 机 器 上 下 。 分 布 式 系统 的 实现 者 为 在 校 学 生 。 

系统 完全 是 手工 搭 起 来 的 ，host 的 IP 地 址 采用 静态 配置 。 

部 闭 ”编译 之 后 手工 把 可 执行 文件 找 贝 到 各 台 机 器 上 ， 或 者 放 到 
公用 的 NFS 目 录 下 。 配 置 文件 也 手工 修改 并 拷贝 到 各 人 台 机 器 上 或 者 放 
到 每 个 Sudoku Solver 上 自己 单独 的 NFS 目 录 下 ) 。 

党 理 手工 月 动 进程 ， 手 工 在 命令 行 指 定 配置 文件 的 路 径 。 重 局 
进程 的 时 候 需 要 登录 到 host 上 并 Kill 进程 。 

升级 ”如果 需要 升级 Sudoku Solver， 则 需要 手工 登录 多 全 hosts， 
可 以 揽 贝 新 的 可 执行 文件 轿 着 原来 的 ， 并 重 局 。 

配置 ”Web Server 的 配置 文件 里 与 上 Sudoku Solver 的 ip:port。 如 采 
部 署 了 新 的 Sudoku Solver， 多 半 要 重 局 Web Server 才 能 发 挥 作用 。 

监控 ”无 。 系 统 不 是 真实 的 商业 应 用 ， 仅 仅 用 作 和 学 习 研 究 ， 发 现 
哪儿 不 对 劲 了 束 登 录 到 那 台 host 上 去 看 看 ， 于 工 解 决 问题 。 

这 个 级 别 可 算是 “过 家 家 ”， 系 统 时 灵 时 不 录 ， 可 以 跑 跑 测试 ， 友 友 
paper。 


9.8.2 ”境界 2: 使 用 零散 的 目 动 化 脚本 和 第 三 方 组 件 


这 大 概 是 刚 起 步 的 公司 的 水 平 ， 系 统 已 经 投入 商业 应 用 。 公 司 的 开 
发 重心 放 在 实现 核心 业务 、 还 加 新 功能 方面 ， 暂 时 还 顾 不 上 高 效 的 运 
维 ， 或 许 系统 的 运 维 任务 由 开发 人 员 或 网 管 人 员 兼 任 。 公 司 已 丝 有 了 基 
本 的 开发 流程， 代码 采用 中 心 化 的 版 本 管理 工具 (比如 SYN) ， 有 比较 
正式 的 QA sign-off 流 程 。 

公司 内 网 有 DNS， 可 以 把 hostmhame 解 析 为 IP 地 址 ，host 的 IP 地 址 由 
DHCP 配 置 。 公 司 内 部 的 host 的 软 人 硬件 配置 比较 统一 ， 比 如 便 件 都 是 x86- 
64 平 台 ， 操 作 系 统统 一 使 用 Ubuntu 10.04 LTS， 每 天 机 器 上 安装 的 
package 和 第 三 方 library 也 是 完全 一 样 的 〈 厂 本 号 也 相同 ) ， 这 样 任何 一 
个 程序 在 任何 一 台 host 上 都 能 局 动 ， 不 需要 单独 的 配置 。 

假设 各 人 台 host 已 经 配置 好 了 SSH authentication key 或 者 GSSAPI， 不 
需要 手工 输入 密码 。 如 果 要 在 host1、host2、host3、host4 上 运行 md5sum 
命令 ， 看 一 下 各 台 机 器 上 的 SudokuSolver 可 执行 文件 的 内 容 是 否 相 同 ， 
可 以 在 本 机 执行 : 


for h in nost1 nost2 nost3 nost4. 
do ssh $h md5sum /path/to/SudokuSolver/version/bin/sudokuyu-solver ， 
done 

公司 的 技术 人 员 有 能 力 配 置 使 用 cron、at、logrotate、rrdtool 等 标准 
的 Linux 工 具 来 将 部 分 运 维 任务 目 动 化 。 

部 普 ”可 执行 文件 必须 经 过 QA 签 署 放 行 才 能 部 晋 到 生产 环境 〈 如 
有 必要 ，QA 要 签署 可 执行 文件 的 md5) 。 为 了 可 靠 性 ， 可 能 不 会 把 可 
执行 文件 放 到 NFS 上 (如 果 NFS 发 生 故 障 ， 上 整个 系统 就 次 次 了) 。 有 可 
能 采用 rsync 把 可 执行 文件 捞 贝 到 本 机 目录 《考虑 到 可 执行 文件 比较 大， 
估计 不 适合 直接 放 到 版 本 管理 库 里 ) ， 并 且 用 md5sum 检 和 奏 找 贝 之 后 的 
文件 是 否 与 源 文 件 相 同 。 部 普 可 执行 文件 这 一 步骤 应 该 可 以 用 脚本 目 动 
执行 &。 为 了 让 C++ 可 执行 文件 捞 贝 到 host 上 吏 能 用 ， 通 第 采用 静态 链 
接 ， 以 避免 .so 版 本 不 同 造 成 故障 。 

Sudoku Solver 的 配置 文件 会 放 到 厂 本 管理 工具 里 ， 每 个 Solver 
instance 可 能 有 目 己 的 branch， 每 次 修改 都 必须 入 库 。 程 序 局 动 的 时 候 用 
的 配置 文件 必须 从 SVN 里 check-out， 不 能 手工 修改 (减少 人 为 错误 ) 。 

党 理 ”第 一 次 局 动 进程 的 上 时候， 会 从 SVN check-out 配 置 文件 ， 以 
后 重启 进程 的 时 候 可 以 从 本 地 working copy 读 取 配 置 文件 (以 避免 SVN 
服务 需 故 障 对 系统 造成 影响 )》 ， 只 在 改过 配置 文件 之 后 才 要 求 svn 
update。 服 务 进程 使 用 daemon 方 式 窒 理 〈/sbiminit 或 upright 工 具 ) ， 
crash 之 后 会 立刻 目 动 重 局 《〈 利 用 respawn 功 能 ) 。 服 务 进 程 一 般 会 随 host 
启动 而 启动 〈( 放 到 /etc/init.d 里 ) ， 如 果 要 重启 hostA 上 的 服务 进程 ， 可 
以 通过 SSH 远 程 操 作 s。 进 程 害 理 是 分 散 的 ， 每 台 host 运 行 哪些 service 完 


全 由 本 机 的 /etcinit.d 目录 雇 定 。 把 一 个 service 从 一 合 host 迁 移 到 另 一 合 
host， 需 要 登录 到 这 两 侣 host 上 去 做 一 些 手 工 配 置 。 

升级 “可 执行 文件 也 有 一 和 套 厂 本 管理 《〈 不 一 定 通过 SVN) ， 奴 布 
新 版 本 的 时 候 严 茶 复 兽 已 有 的 可 执行 文件 。 比 方 说 ， 现 在 运行 的 是 


/path/to/SudokusSolver/| .80.0/bin/sudoku-solyver 


那么 新 版 本 的 Sudoku Solver 会 发 布 到 


-path/to/SsudokuSsolver/|.1.0/bin/sudoku-solyver 


这 么 做 的 原因 是 ， 对 于 C++ 服 务 程序 ， 如 果 在 程序 运行 的 时 候 窗 和 雷 
了 原 有 的 可 执行 文件 ， 那 么 可 能 会 在 一 段 时 间 之 后 出 现 bus error， 程 序 
因 SIGBUS 而 crash。 另 外 ， 如 条 程 序 友 生 core dump， 那 么 验尸 (post 
mortem ) 的 时 候 必须 用 “产生 core dump 的 可 执行 文件 ?配合 core 文 件 。 如 
有 末 缆 兰 了 原来 的 可 执行 文件 ，post mortem 将 无 法 进行 。 

配置 “Web Server 的 配置 文件 里 与 上 Sudoku Solver 的 host:port《〈 比 
境界 1 有 所 提高 ， 这 里 依赖 DNS， 通 常 DNS 有 一 主 一 备 ， 可 靠 性 足够 
高 ) 。 不 过 Web Server 的 配置 文件 和 Sudoku Solver 的 配置 文件 是 独立 
的 ， 如 果 新 增 了 Sudoku Solver 或 者 迁移 了 host， 除 了 修改 Sudoku Solver 
的 配置 文件 外 ， 还 要 修改 所 有 用 到 它 的 Web Server 的 配置 文件 。 这 在 系 
统 规模 比较 小 的 时 候 疝 且 可 行 ， 系 统 规模 一 大 ， 这 种 服务 之 间 的 依赖 关 
系 会 变 得 隐 星 。 如 果 关 闭 了 某 个 服务 程序 ， 束 可 能 一 不 小 心 造 成 其 他 组 
的 某 个 服务 失 录 。 如 孟 宕 在 《通过 一 个 真实 故事 理解 SOA 监 管 》 2 举 的 
那个 例子 一 样 。 

监控 ”公司 会 使 用 一 些 开 源 的 监控 工具 〈 以 下 以 Monit 为 例 ) 来 监 
控 每 台 host 的 资源 使 用 情况 《内存 、CPU、 和 磁盘 空 间 、 网 络 珊 宽 等 
等 ) 。 必 要 的 话 可 以 与 一 些 插 件 ， 使 之 能 监控 我 们 目 己 写 的 服务 程序 
(Sudoku Solver) 。 但 是 这 些 监控 工具 通常 只 是 观察 者 ， 它 们 与 进程 管 
理工 具 是 独立 的 ， 只 能 看 ， 不 能 动 。 这 些 监 探 工具 有 自己 的 配置 文件 ， 
这 些 配置 需要 与 Sudoku Solver 的 配置 同步 修改 。Monit 可 以 管理 进程 ， 
但 是 它 判断 服务 进程 是 人 否 能 正常 工作 是 通过 定时 轮 询 进行 的 ， 不 一 定 能 
立刻 《( 几 秒 之 内 〉 发 现 问题 。 

在 这 个 境界 ， 分 布 式 系统 已 经 基本 可 用 了， 但 也 有 一 些 隐患 。 


配置 零散 
每 个 服务 程序 有 目 己 独立 的 配置 ， 但 是 整个 系统 没有 全 局 的 部 普 配 


置 文件 (比方 说 哪个 服务 程序 应 该 运行 在 哪些 hosts 上) 。 
服务 程序 的 配置 文件 和 用 到 此 服务 的 客户 端 程序 的 配置 是 独立 的 ， 


如 果 把 Sudoku Solver 迁 移 到 男 一 台 host， 那 么 不 仪 要 修改 Sudoku Solver 
的 配置 ， 还 要 修改 用 到 Sudoku Solver 的 Web Server 的 配置 ， 以 及 监控 
Solver 多 Monit 的 配置 。 如 果 态 记 修 改 其 中 的 一 处 ， 就 会 造成 系 
统 故 障 。 

分 布 式 系统 中 服务 程序 的 依赖 天 系 是 个 令 人 头疼 的 问题 , “依赖 ”还 
好 办 《程序 的 作者 知道 目 己 这 个 服务 程序 会 依赖 哪些 其 他 服务 ) ，“ 和 被 
依赖 * 则 比较 若 手 (如 何 才 能 知道 停 挥 目 己 这 个 程序 会 不 会 让 公司 其 他 
系统 骨 涡 ?) 。 这 也 从 一 个 侧面 证 明 使 用 TCP 协 议 作为 唯一 的 IPC 手 段 
时 必要 性 。 如 果 玉 用 TCP 退 信 ， 为 了 会 出 有 哪些 程序 用 到 了 我 的 Sudoku 
Solver 〈 假 设 listening port 古 9981) ， 那 么 我 只 要 运行 netstat-tpn |grep 
9981 束 能 找到 现在 的 客户 ; 或 者 让 Sudoku Solver 目 己 打 印 accept(2) log， 
连续 检查 一 周 或 者 一 个 月 就 能 知道 有 哪些 程序 用 到 了 Sudoku Solver。 


进程 管理 分 散 


如 果 hostA 发 生 便 件 故障 ， 如 何 能 快速 地 用 一 台 备 用 服务 器 便 件 项 
蔡 它 ?能 人 耕 先 把 它 上 面 原来 运行 的 Sudoku Solver 迁 移 到 空闲 的 hostB 
上 ， 然 后 通知 Web Server 用 hostB 上 的 Sudoku Solver? “通知 Web 
Server” 这 一 步 要 不 要 重启 Web Server? 


9.8.3 ”境界 3: 目 制 机 群 害 理 系统 ， 集 中 化 配置 


这 可 能 是 比较 成 训 的 大 公司 的 水 平 。 

境界 2 中 的 分 散 式 进程 官 理 已 经 不 能 满足 业务 灵活 性 方面 的 需求 ， 
公司 开始 整合 现 有 的 运 维 工 上 只， 开发 一 和 父 目 己 的 机 和 群 管理 软件 。 我 还 没 
有 找到 一 个 开 庆 的 符合 我 的 要 求 的 机 群 管理 软件 ， 以 下 虚构 一 父 名 为 
Zurgs (名字 取 目 科 约 电影 《第 五 元 素 》， 拼 写 稍 有 不 同 ，Zurg 也 是 
《玩具 总 动员 》 中 的 一 个 角色 。) 的 分 布 式 系统 管理 软件 #。 

Zurg 的 架构 很 简单 ， 典 型 的 Master/Slave 结 构 ， 见 83.5.3 中 对 “管理 
Linux 服 务 器 机 群 * 的 描述 ( 见 图 9-19)〉 。 图 9-19 中 和 矩形 为 服务 器 ， 圆 角 
算 形 为 进程 ， 实 线 箭头 表示 TCP 连 接 ， 虚 线 表 示 进 程 的 父子 关系 。 
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图 9-19 


在 《分 布 式 系统 的 工程 化 开 友 方法 》s 中 谈 到 了 Zurg 的 功能 需求 : 


:典型 的 Master/Slave/Client 结 构 。 

一 个 Master 进 程 ， 兼 做 name service。 可 用 冷 热 备份 ， 或 者 用 
consensus 多 点 状态 同步 。 如 果 Master 意 外 重启 ， 全 部 Slave 都 会 自动 重 
jE 

:每 个 节点 运行 一 个 Slave 进 程 。 定 期 间 Master 沪 报 该 节点 的 资源 使 
用 率 ， 控 制 其 他 服务 进程 的 启 停 ， 捕 获 SIGCHLD 信 和 号， 及 时 知道 服务 
进程 (图 9-19 中 的 App) 意外 退出 。 和 


到 了 这 一 境界 ， 日 利 的 党 理 运 维 工 作 已 经 不 再 需要 反复 执行 ssh， 
第 见 任务 都 可 以 通过 Zurg 来 完成 。 

部 署 ”只 需要 同 Master 发 一 条 指令 ，Master 会 命令 Slaves 从 指定 的 
地 点 rsync 狐 的 可 执行 文件 到 本 地 目录 。 

进程 管理 与 监控 ”Zurg 的 主要 功能 束 是 进程 管理 和 监控 ， 比 起 一 
般 的 开源 工具 ，Zurg 更 具备 一 些 优 势 。 由 于 Sudoku Solver 是 由 Zurg 
Slave fork(2) 而 得 的 ， 那 么 当 Sudoku Solver crash 的 时 候 ，Zurg Slave 会 立 
刻 收 到 SIGCHLD， 从 而 能 立刻 同 管 理 员 报告 状态 并 重 局 。 这 比 Monit 的 
轮 询 要 迅速 得 多 。= 

为 了 安全 起 见 ，Zurg Slave 在 局 动 可 执行 文件 的 时 候 可 以 验证 其 
md5， 这 样 避免 错误 版 本 的 服务 程序 运行 在 生产 环境 。 

Zurg Master 可 以 提供 一 个 Web 页 面 以 供 查 看 本 机 群 内 各 个 服务 程序 


是 否 正 稼 运行 ， 并 且 提 供 一 个 接口 〈 可 以 是 HITP) 让 我 们 能 编写 脚本 
来 控制 Zurg Master。 

升级 ”如 果 要 主动 重启 Sudoku Solver， 可 以 疝 Zurg Master 发 出 指 
令 ， 不 需要 用 ssh & kill。Zurg 会 保存 每 人 台 host 上 服务 进程 的 局 动 记录 ， 
以 便 事 后 分 析 。 如 果 用 境界 2 中 的 手动 /etc/init.d 管理 方式 ， 需 要 到 每 人 
机 器 上 收集 log 才 知道 Sudoku Solver 什 么 时 候 重 启 过 。 

男 外 也 可 以 单独 开 友 GUI 程 序 ， 运 行 在 运 维 人 员 的 加 和 面 上 ， 香 局 多 
合 host 上 的 Sudoku Solver 只 需要 轻 点 几 下 鼠标 。 

配置 ”零散 的 配置 文件 被 集中 的 Zurg 配 置 文件 取代 。 

Zurg 配 置 文件 会 制定 哪些 service 会 在 哪些 host 上 运行 ，Zurg Master 
谈 取 配置 文件 ， 然 后 命令 各 个 Zurg Slave 局 动 相 应 的 服务 程序 。 比 方 说 
配置 文件 指定 Sudoku Solver 运 行 在 hostLt、host2、host3 上 ， 那 么 Zurg 会 
通知 在 host1、host2、host3 上 的 Zurg Slave 局 动 Sudoku Solver。 (当然 ， 
es 的 Zurg Slave 需 要 由 /etc/init.d 局 动 ， 其 他 的 服务 程序 都 由 它 
负责 日 动 。 ) 

更 重要 的 是 ， 服 务 程 序 之 间 的 依赖 天 系 在 Zurg 配 置 文件 里 直接 体现 
出 来 。 比 方 说 ， 在 Zurg 配 置 文件 里 指明 Web Server 依 赖 Sudoku Solver， 
Web Server 的 配置 文件 由 Zurg Master 生 成 (可 能 会 用 到 模板 引擎 ， 读 入 
一 个 Web Server 的 配置 模板 ) ， 其 中 出 现 的 Sudoku Solver 的 host:port 由 
Zurg Master 目 动 填 上 ， 这 样 如 果 把 Sudoku Solver 从 hostA 迁 移 到 hostB， 
只 需要 改 一 处 地 方 (Zurg 的 配置 ) ， 而 Sudoku Solver 和 Web Solver 的 配 
置 都 由 Zurg Master 目 动 生成 。 这 样 大 大 降低 了 犯错 误 的 机 会 。 

到 了 这 一 境界 ， 分 布 式 系统 的 日 单 管理 已 经 基本 成 加 ， 但 在 容错 与 
负载 均衡 方面 有 较 大 的 提升 空 间 。 

目前 最 大 的 障碍 是 DNS， 它 限制 了 快速 failover。 比 方 说， 如 末 
hostA 发 生硬 件 故障 ，Zurg Master 国 然 可 以 在 hostB 上 立刻 启动 Sudoku 
Solver， 但 是 如 何 通 知 Web Server 代 hostB 上 享用 服务 呢 ? 修 改 DNS entry 
的 话 〈 把 hostA 的 域名 解析 a 到 hostB 的 IP〉， 可 能 要 好 几 分 钟 才 能 完成 更 
新 ， 因 为 DNS 没有 推 运 机 制 。 

如 采 思 路 受 限 制 于 host:port， 那 么 会 采取 一 些 看 似 高 级 ， 实 则 宗 拙 
的 高 可 用 (high availability) 解雇 方案 。 比 方 说 在 内 核 里 做 做 手脚 ， 议 
法 让 两 台 机 右 共 圣 同一 个 IP， 然 后 通过 专门 的 心跳 连 线 来 控制 哪 全 host 
对 外 提供 服务 ， 哪 台 是 备用 机 。 如 果 那 台 “ 主 机 ”发 生 故 障 ， 则 可 以 快速 

( 几 秒 ) 切换 到 备用 机 ， 因 为 hostname 和 也 地 址 是 相同 的 ， 客 户 端 不 用 
重新 配置 或 重启 ， 只 要 重新 连接 TCP 束 能 完成 failover。 如 果 在 错误 的 道 
路 上 走 得 更 远 一 点 ， 可 能 还 会 设法 把 TCP 连 接 一 同 迁 移 到 备用 机 ， 这 样 
洛 户 闹 甚 至 不 需要 靳 开 并 草 连 。 


Load balance 也 有 限于 DNS 


如 果 发 现 现 有 的 4 个 Sudoku Solver 不 堪 重 负 ， 又 部 署 了 4 台 Sudoku 
Solver， 如 何 通 知 各 个 Web Server 把 新 的 Sudoku Solver 加 到 连接 池 里 ? 

有 一 些 ad hoc 的 手段 ， 比 方 说 每 个 Web Server 有 一 个 管理 接口 ， 可 
以 通过 这 个 接口 向 它 动 态 地 增 减 Sudoku Solver 的 地 址 。 借 助 这 个 管理 接 
口 ， 我 们 也 可 以 做 一 些 计 划 中 的 联机 迁移 。 比 方 说 要 主动 把 条 个 Sudoku 
Solver 从 hostA 迁 移 到 hostB， 我 们 可 以 先 在 hostB 上 启动 Sudoku Solver， 
然后 通过 Web Server 的 管理 接口 把 hostB:9981 添 加 到 Web Server 的 连接 池 
中 ， 再 把 hostA:9981 从 连接 池 中 删 挥 ， 最 后 堡 挥 hostA 上 的 Sudoku 
Solver。 这 对 计划 中 的 Sudoku Solver 升 级 是 可 行 的 ， 能 做 到 避免 中 断 
Web Server 服 务 。 对 于 failover， 这 种 做 法 似乎 稍 显 不 够 方便 ， 因 为 要 让 
Zurg Master 理 解 Web Server 的 管理 接口 ， 会 给 系统 市 来 循环 依赖 。“〈 正 
种 情况 下 ，Zurg Master 不 应 访 知 道 或 访问 它 党 理 的 服务 程序 的 接口 细 
方 ， 这 样 Sudoku Solver 升 级 的 时 候 束 不 用 升级 Zurg Master。 ) 

这 种 做 法 要 求 Web Server 在 开发 的 时 候 留 下 适当 的 维修 探 得 通道 ， 
见 89.5 的 推荐 做 法 。 

另外 一 种 ad hoc 的 手段 ， 每 个 Sudoku Solver 在 启动 的 时 候 自己 主动 
往 某 个 数据 库 表 里 insert 或 update 本 程序 的 host:port。WebServer 的 配置 里 
写 的 不 是 host:port， 而 是 一 条 SELECT 语句 ， 用 于 找 出 它 依赖 的 Sudoku 
Solver 的 host:port。Web Server 还 可 以 通过 数据 库 触 发 右 来 及 时 获知 
Sudoku Solver address list 的 变化 。 这 样 增 加 或 减少 Sudoku Server 的 话 ， 
Web Server 几 乎 可 以 立刻 应 对 ， 也 不 需要 通过 管理 接口 来 手工 增 减 
Sudoku Solver 地 址 。 数 据 库 在 这 里 扮演 了 naming service 的 角色 ， 它 的 可 
用 性 直接 影响 了 整个 系统 的 可 用 性 。 

境界 3 是 黎明 前 的 黑暗 ， 只 要 统一 引入 naming service， 扫 开 DNS， 
容错 和 负载 均衡 的 问题 便 迎 刃 而 解 。 


9.8.4 卉 界 4: 机 和 群 过 理 与 naming service 结 合 


这 古 业 内 领先 的 公司 的 水 平 。 

前 面 分 析 到 ， 使 用 Zurg 机 群 管理 软件 能 大 大 简化 分 布 式 系统 的 日 笛 
运 维 ， 但 是 它 也 有 很 大 的 缺陷 一 一 不 能 实现 快速 failover。 如 果 系 统 规 模 
大 到 一 定 程度 ， 机 占 出 故障 的 频率 会 仔 阁 增加 ， 这 时 低 目 动 化 的 快速 
failover 是 必 备 的 ， 耕 则 运 维 人 员 束 会 疲 于 弃 命 地 “救火 ”。 

实现 简单 而 快速 的 failover 不 需要 特殊 的 编程 技巧 ， 也 不 需要 对 
kernel 动 手脚 ， 只 要 抛弃 传统 的 DNS 观 念 ， 摆脱 host:port 的 束缚 ， 采用 为 





分 布 式 系统 特制 的 naming service 代 和 谷 DNS 即 可 。 

naming service 古 实现 快速 failover 的 必 备 条 件 。Host A 上 的 服务 S1 肝 
诅 了 ，failover 到 HostB 上 ， 如 何 把 新 的 地 址 《或 关口 号 ) 通知 给 S1 的 使 
用 者 ? 为 什么 DNS 不 适合 ? DNS 设计 作为 静态 或 缓慢 变化 的 域名 解析 ， 
DNS 客户 问 与 DNS 服务 右 之 间 采 用 超时 轮 询 而 不 是 主动 通知 ， 不 适合 快 
速 failover。DNS 也 不 能 解析 问 口 号 。 解 决 办法: 实现 目 己 的 名 字 服 
务 ， 并 在 程序 的 配置 中 使 用 service_name 而 不 是 host:port。 例 子 : 
Chubby、 ZooKeeper、Eureka ( 
http://techblog.netflix.com/2012/09/eureka.html ) 。 

naming service 的 功能 是 把 一 个 service_name 解 析 成 list of ip:port。 比 
方 说 ， 查 询 "sudoku _ solver"， 返 回 host1:9981、host2:9981、host3:9981 。 

naming service 与 DNS 最 大 的 不 同 在 于 它 能 把 新 的 地 址 信息 推送 给 客 
户 疹 。 比 方 说 ，Web Server 订 赔 "sudoku_solver"， 每 当 sudoku_solver 
发 生变 化 ，Web Server 吏 会 立刻 收 到 更 新 。Web Server 不 需要 轮 询 ， 而 
是 等 候 通 知 。 


naming service 谁 负责 更 新 


在 境界 2 中 ，Sudoku Solver 会 目 己 主动 去 naming server 注 册 。 到 了 圭 
界 3， 由 于 Sudoku Solver 是 由 Zurg 负 责 启 动 的 ， 那 么 Zurg 知 道 Sudoku 
Solver 运 行 在 哪些 hosts 上 ， 它 会 主动 更 新 naming service， 不 需要 Sudoku 
Solver 目 己 动 手 。 


naming service 的 可 用 性 〈availability) 和 一 致 性 如 何 保证 


室 无 疑问 ， 一 旦 采用 这 种 方案 ，naming service 是 系统 正常 运转 的 天 
键 ， 它 的 可 用 性 决定 了 系统 的 可 用 性 。naming service 绝 对 不 能 只 run 在 
一 台 服 务 右 上 ， 为 了 可 徘 性 ， 应 该 用 一 组 (通常 是 5 台 ) 服务 项 同 时 提 
供 服务 。 当 然 ， 这 需要 解雇 一 致 性 问题 。 目 前 实现 高 可 用 naming service 
的 公认 办 法 是 Paxos 算 法 ， 也 有 J 了 了 一些 开 源 的 实现 (ZooKeeper、 
KeySpace、Doozer) 。 


对 程序 设计 的 影响 
如 果 公 司 的 网 络 库 在 设计 的 时 候 束 考虑 了 naming service， 那 么 对 程 


序 设计 来 说 是 透明 的 。 配 置 文件 里 与 的 不 册 是 host:port， 而 是 
service_name， 交 给 网 络 库 去 解析 成 ip:port 地 址 列表 。 


为 什么 muduo 网 络 库 没有 封 帮 DNS 解 本 


一 方面 因为 gethostbyname0 和 getaddrinfo0 解 机 DNS 是 阻塞 的 《除非 
用 UDNS 之 类 的 弄 步 DNS 库 ); 为 一 方面 ， 因 为 在 大 规模 分 布 式 系 统 中 
DNS 的 作用 不 大 ， 我 宁愿 花 时 间 实 现 一 个 naming service， 并 日 为 它 编写 
name resolve library。 

在 境界 3 中 ， 每 个 项 目 组 有 目 己 的 hosts， 只 运行 本 项 目 中 的 服务 程 
序 ， 每 个 服务 程序 的 TCP 疹 口 可 以 静态 分 配 〈 比 如 Sudoku Solver 固 定 使 
用 9981 端 口 )， 不 担心 端口 冲突 。 如 果 公 司 规模 继续 扩大 ， 述 早 会 把 
16-bit 的 port 命 名 衬 间 用 完 ， 这 时 候 给 新 项 目 分 配 奖 口号 将 成 为 问题 。 

到 了 境界 4， 这 一 限制 将 被 打破 ， 服 务 程 序 可 以 run 在 公司 内 任何 一 
侣 host 上 ， 也 不 用 担心 交口 神 突 ， 因 为 Zurg 会 选择 当前 host 的 空 刹 端口 
来 局 动 Sudoku Solver， 并 且 把 选中 的 交口 傈 存在 naming service 中 。 这 样 
一 来 ，TCP port 也 实现 了 动态 配置 ，Web Server 完 全 能 目 动 适 应 run 在 不 
同 port 的 Sudoku Solver。 
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1 http://dl.acm.org/citation.ctm?id=140296/ 
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等 。 
结构 化 的 意思 是 说 一 个 消 轧 可 以 使 用 其 他 目 定义 消 恩 类 型 为 成 员 ， 也 可 以 包含 数组 ， 
数组 的 元 素 可 以 是 其 他 目 定义 消息 闫 型 。 
72 ”Protobuf 二 进 制 格式 中 的 整数 及 用 变 长 编码 ， 可 以 市 约 市 党 ， 降 低 延 人 运 ( 








https://developers.google.com/protocol-buffers/docs/encoding ) 。 
73 https://developers.google.com/protocol-buffers/docs/proto#updating 
74 http://Wwww.zeroc.com 
75 http://blog.csdn.net/solstice/article/detalls/3814486 
76 http://www.cnblogs.com/Solstice/archive/2011/04/22/2024791.html 
77 http://blog.csdn.net/Solstice/article/detalls/6324/49 
78 http://blog.codingnow.com/2007//02/user authenticate.html 
http://blog.codingnow.com/2006/04/iocp_kqueue epoll.html 
http://blog.codingnow.com/2010/11/go prime.html 
79 http://www.ukuug.org/events/spring200//programme/ThatCouldntHappenloUs.pdf 
80 ”比方 说 ssh $host rsync /path/to/source/on/nfs /path/to/local/copy/。 
81 ”比如 在 本 机 运行 ssh hostA /etc/init.d/sudoku-solver restart。 
82 http://blog.csdn.net/myan/archive/2007//08/09/1/34343.aspx 
83 http://en.wikipedlia.org/Wwiki/Google platform#Software 
84 ”Slave 的 实现 代码 见 http://github.com/chenshuo/muduo-protorpc 附 迁 的 例子 。 
85 http://blog.csdn.net/Solstice/article/detalls/3950190 
86 ”如果 Slave 意 外 重 司 ， 如 何 避 免 重 复 局 动 服务 ? 
87 ”还 可 以 在 fork0 之 前 做 一 些 手脚 ， 让 Zurg Slave 能 更 方便 地 获得 Sudoku Solver 的 存活 状 
。 比 方 说 ， 打 开 一 对 pipe， 让 子 进 程 继 承 写 闹 fd， 在 信 父 进 程 中 关注 读 3 前 人 的 readable 事 件 。 这 
入 旦 子 进程 退出 ， 父 进程 Zurg Slave 立 刻 就 能 读 到 EOF， 这 比 用 SIGCHLD signal 更 可 靠 。 
88 ”除非 使 用 不 常用 的 SRV RR 记录 ， 见 RFC 2782。 





第 10 章 ”C++ 编译 链接 模型 精 要 


C++ 从 C 语 言 ! 继 承 了 一 种 古老 的 编译 模型 ， 引 发 了 其 他 语言 中 根本 
不 存在 的 一 些 编 详 方面 的 问题 〈 比 方 说 “一 次 定义 原则 (ODR) :”) 。 
理解 这 些 问 题 有 助 于 在 实际 开发 中 规避 各 种 古怪 的 错误 。 

C++ 语言 的 三 大 约束 是 : 与 C 兼 容 、 堆 开销 (zero overhead) 原则 、 
值 语义 。811.7 会 具体 介绍 值 语义 的 话题 ， 下 面谈 谈 第 一 点 “与 C 莱 容 ”。 

“与 C 莱 容 ” 的 售 义 很 丰富 ， 不 仪 仪 是 兼容 C 的 语法 ;:， 更 重要 的 是 菲 
容 C 语 言 的 编 详 模型 与 运行 模型 ， 也 了 吏 是 说 能 直接 使 用 C 语 言 的 头 文 件 
和 库 。 比 方 说 对 于 connect(2) 这 个 系统 图 数 :， 它 的 头 文 件 和 原型 如 下 : 


#include <sys/socket.h> 


int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen): 

C++ 的 基本 次 型 的 长 度 和 表示 《representation〉 必须 和 C 语 言 一 样 
(int、 指 针 和 等 )， 准 确 地 说 是 和 编译 系统 库 的 C 语 言 编 译 器 你 持 一 狼 。 
C++ 编 译 右 必须 能 理解 头 文 件 sys/socket.h 中 struct sockaddr 的 定义 ， 生 成 
与 C 编 译 右 完全 相同 的 layout〈 包 括 灯 用 相同 的 对 齐 (alignment)〉 算 
法 ) ， 并 且 芝 循 C 语 言 的 函数 调用 约定 (参数 传递 ， 返 回 值 传递 ， 栈 巾 
管理 等 等 ) ， 才 能 直接 调用 这 个 C 语 言 库 函数 。 

现代 操作 系统 又 露出 的 原生 接口 往往 是 C 语 言 插 述 的 ，Windows 的 
原生 API 接 口 是 Windowsh 头 文 件 ，POSIX 是 一 堆 C 语 言 头 文件 。C++ 兼 
容 C， 从 而 能 在 编 详 的 时 候 直 接 使 用 这 些 头 文件 ， 并 链接 到 相应 的 库 
上 。 并 在 运行 的 时 候 和 直接 调用 C 语 言 的 冰 数 库 ， 这 和 省 了 一 违 中 间 层 的 手 
续 ， 可 算 作 是 C++ 高 效 的 原因 之 一 。 

图 10-1 表 明 了 Linux 上 编 详 一 个 C++ 程 序 的 典型 过 程 。 其 中 最 耗 时 间 
的 古 cclplus 这 一 步 ， 在 一 台 正 在 编译 C++ 项 目的 机 器 上 运行 top(1)， 排 
在 首位 的 往往 殉 是 这 个 进程 。 
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图 10-1 


值得 指出 的 有 是， 图 10-1 中 各 个 阶段 的 界线 并 不 是 铁定 的 。 通 党 cpp 

和 cclplus 会 合并 成 一 个 进程 ， 而 cclplus 和 as 之 间 既 可 以 以 临时 文件 
(*.s) 为 中 介 ， 也 可 以 以 管道 (pipe) 为 中 介 ; 对 于 单一 源 文件 的 小 程 
序 ， 往 往 不 必 生 成 .o 文 件 。 另 外 ，1linker 还 有 一 个 名 字 叫 做 link editor。 

在 不 同 的 语 卉 下 ,“ 编 诺 " 一 词 有 不 同 的 合 义 。 如 条 沉 统 地 说 把 .cc 文 
件 “ 编 详 ? 为 可 执行 文件 ， 那 么 指 的 是 
preprocessorcompilerassemblervlinker 这 四 个 步骤 。 如 宁 区 分 “编译 ”和 “ 链 
接 ”"， 那 么 “编译 ” 通 音 指 的 是 从 源 文 件 生成 目标 文件 这 几 步 〈 即 g++ - 

c) 。 如 末 进 一 步 区 分 预 处 理 、 编 译 “〈 人 代码 转 换 ) 、 汇 编 ， 那 么 编译 占 
实际 看 到 的 是 预 处 理 器 完成 头 文 件 蔡 换 和 宏 展 开 之 后 的 源 代 但 :。 

C++ 至 今 〈 包 括 C++11) 没有 模块 机 制 ， 不 能 像 其 他 现代 编程 语言 
那样 用 import 或 using 来 引入 当前 源 文 件 用 到 的 库 “〈 含 其 他 
package/module 里 的 函数 或 类 ) ， 而 必须 用 include 头 文件 的 方式 来 机 械 
地 将 库 的 接口 声明 以 文本 蔡 换 的 方式 载 入 ， 有 再 重新 parse 一 届 。 这 人 么 做 一 
方面 让 编译 效率 柯 低 ， 编 详 项 动 辑 要 parse 儿 万 行 预 处 理 之 后 的 源码 ， 哪 
人 源 文 件 只 有 几 百 行 ， 画 一 方面 ， 也 留 下 了 巨大 的 隐 患 。 部 分 原因 十 头 
文件 包含 共有 传递 性 ， 引 入 不 必要 的 依赖 ， 另 一 个 原因 是 头 文 件 是 在 编 
详 时 使 用 ， 动 态 库 文 件 是 在 运行 时 使 用 ， 二 者 的 时 间 甜 可 能 珊 来 不 匹 
配 ， 守 至 二进制 羔 容 性 方面 的 问题 〈811.2) 。C++ 的 设计 痢 Bjarne 
ey 目 己 很 消 楚 这 一 点 !:， 但 这 是 在 “与 C 莱 容 ” 的 大 前 提 下 不 得 不 做 

比如 有 一 个 简单 的 小 程序 ， 只 用 了 printf(3)， 却 不 得 不 包含 stdio.h， 
把 其 他 不 相关 的 函数 、struct 定 义 、 宏 、typedef、 全 局 变量 等 等 也 统统 
引入 到 当前 命名 空间 。 在 预 处 理 的 时 候 会 谈 取 近 20 个 头 文件 ， 预 处 理 之 
后 供 编 详 需 parse 的 源 但 有 近 于 行 〈 这 还 算是 短 的 ) 。 


// hello.cc # 一 个 简单 的 源 文件 _ 
#include <stdio.h> 其 起 全 本 一 个 关注 件 


Int main() 
{ 
printf("hello preprocessor\n" ); 


】 


$ gcc -E hello.cc |wc # 预 处 理 之 后 有 942 行 
942 2164 17304 


$ strace -f -~e open cpp hello.cc -0 /dev/null 2>&1 |grep -V ENOENT|awk ‘{print $3}° 
# 省略 无 关内 容 。 为 外 我 不 知道 cpp 有 没有 直接 输出 以 下 内 容 的 命令 行 选项 ， 只 好 用 条 办 法 。 
openc"hello.cce”, 
open("/usr/include/stdio.h", 
open(C" /usr/include/features.h", 
open("/usr/include/bits/predefs.h", 
open(t /usr/include/sys/cdefs.h", 
open(" /usr/include/bits/wordsize.h", 
open(t Ausryincludex sgnuystubps.h ， 
opent /Usr/include/bits/wordsize.h", 
open( /usr/include/gnu/stubs-64.h", 
open(" /usr/lib/egcc/x86_64-linux-gnu/4.4.5/include/stddef.h"”, 
open(" /usr/include/bits/types.h”", 
open(" /usr/include/bits/wordsize.h’, 
open(t /usr/include/bits/typesizes.h", 
openkt /usr/include/libio.h", 
open{" /usr/include/_G_config.h", 
open( /usr/lib/gcc/x86_64-linux-gnu/4.4.5/include/stddef.h”, 
opent" /usr/include/wchar.h", 
opent" /usr/lib/gcc/x86_64-linux-gnuyu/4.4.5/include/stdarg.h'", 
opent" /usr/include/bits/stdio_lim.h", 
Opent /usr/include/bits/sys_errlist.h", 

读者 若 有 兴趣 ， 可 将 其 中 的 stdio.h 蔡 换 为 C++ 标准 库 的 头 文件 
complex， 看 看 预 处 理 之 后 的 涯 代 但 有 多 少 行 ， 额 外 包含 了 哪些 头 文 
件 。 (在 我 的 机 器 上 测试 ， 预 处 理 之 后 有 21879 行 ， 包 含 了 近 150 个 头 文 
件 ， 包 括 <string>、<sstream> 等 大 块头 。 ) 

值得 一 提 的 是 ， 为 了 兼容 C 语 言 ，C++ 付 出 了 很 大 的 代价 。 例 如 要 
羔 容 C 语 言 的 隐 式 类 型 转换 规则 例如 整数 类 型 提升 ) ， 这 让 C++ 的 消 
数 重 载 决议 (overload resolution ) 规则 变 得 无 比 复 林 :。 男 外 class 定 义 式 
后 面 那 个 分 写 也 不 上 晓得 谋杀 了 多 少 初 学 者 的 时 间 ， 这 是 为 了 与 C struct 语 
法 痰 容 ， 因 为 C 允 许 在 函数 返回 类 型 处 定义 新 struct 类 型 ， 因 此 分 号 是 必 
需 的 。Bjarne Stroustrup 目 己 也 说 “我 义 不 是 不 惜 如 何 设计 出 比 C+t+ 更 漂 
腕 的 语言 客 。《〈 由 于 C 语 言 没 有 函数 重 载 ， 也 就 不 人 存在 重 载 决议 ， 所 以 
障 式 类 型 转换 的 危害 没有 体现 在 这 一 方面 。) 


10.1 C 语 言 的 编译 模型 及 其 成 因 


要 想 了 解 C 语 言 的 编译 模型 的 成 因 ， 我 们 需要 略微 回顾 一 下 Unix 的 
早期 历史 ;。1969 年 Ken Thompson 用 汇编 语言 在 一 台 内 置 的 PDP-7 小 型 
机 上 与 出 了 Unix 的 中 前 厂 本 ”。 值得 一 提 的 是 ，PDP-7 的 字 长 是 18-bita 
， 只 能 按 字 (word) 不 支持 今日 党 见 的 按 8-bit 字 节 寻 址 。 假 如 C 
语言 诞 生 在 PDP-7 上 ， 计 算 机 软 人 硬件 的 友 展 史 妨 怕 要 改写 。 

1970 年 5 月 ，Ken 和 Ritchie 所 在 的 贝尔 实验 室 下 订 
单 购买 了 一 台 PDP-11 小 型 机 ， 这 是 1970 年 1 月 刚刚 上 市 的 新 机 型 。PDP- 
11 的 字 长 是 16-bit， 可 以 按 8-bit 字 他 寻 址 ， 这 可 谓 一 举 真 定 了 今后 C 语 言 
及 硬件 的 及 展 道 路 2。 这 侣 机 天 的 主机 《处 理 磊 和 和 内存) 当年 夏天 天 到 
货 了 ， 但 是 硬盘 直到 1970 年 12 月 才 到 货 。 

1971 年 ，Ken Thompson 把 原来 运行 在 PDP-7 上 的 Unix 用 PDP-11 汇 编 
靠 人 力 重 写 了 一 遍 ， 运 行 在 这 台 PDP-11/20 机 器 上 。 这 人 台 机 器 一 共 只 有 
24KiB 内 存 s， 其 中 16KiB 运 行 操作 系统 ，8KiB 运 行 用 户 代 人 码 #; ee 
共 只 有 512KiB， 文 件 大 小 限制 为 64KiB。 ee 了 一 个 文本 处 理 器 
用 于 排版 贝尔 实验 室 的 专利 申请 ， 这 是 购买 这 台 计 算 机 的 正经 用 途 。 

下 面 的 Unix 历 史 多 半 友 生 在 太 外 一 合 在 各 革 全 部 于 大 的 POP 机 
器 上 ， 型 号 可 能 是 PDP-11/40 或 PDP-11/45。〔 不 同 的 权威 文献 说 法 不 

， 可 能 不 止 一 合 。) 

1972 年 是 C 语 言 历 史上 最 为 天 键 的 一 年 5E， 这 一 年 C 语 言 加 入 了 预 处 
理 ， 有 具备 了 编写 大 型 程序 的 能 力 〈 理 由 见 下 文 ) 。 到 了 1973 年 初 ，C 语 
言 基 本 定型 ， 主 要 新 特性 是 文 持 结构 体 。 此 时 C 语 言 的 编 详 模 型 已 经 基 
本 定型 ， 即 分 为 预 处 理 、 编译 、 汇 编 、 链 接 这 四 个 步 又， 沿用 至 今 。 

1973 年 是 Unix 历 史上 关键 的 一 年 ， 这 一 年 夏天 ， 二 人 把 Unix 的 内 核 
用 C 语 言 重 与 了 一 遇 ， 完 成 了 用 部 级 语言 编写 操作 系统 的 伟大 创举 。 
(Thompson 在 1972 年 就 尝试 er 但 是 当 时 的 C 语 言 不 
文 持 结构 体 ， 因 此 他 放弃 了 。 

随后 ，1974 年 ，Dennis a Thompson 发 表 了 了 经典 论 文 
《The UNIX Time-Sharing System》*。 除 了 没有 函数 原型 声明 外 ，1974 
年 的 C 代 码 z 读 起 来 跟 现 在 的 C 程 序 基本 无 区 别 。 


10.1.1 为 什么 C 语 言 需 要 预 处 理 


本 解 了 C 语 言 的 诞生 至 景 ， 我 们 可 以 归纳 PDP-11 上 的 第 一 代 C 编 详 
颖 的 便 性 约束 : 内 存 地 址 空间 只 有 16-bit， 程 序 和 数据 必须 挤 在 这 狭小 


的 64K 记 空间 里 ， 可 谓 捉 襟 见 肘 2。 注 意 ， 本 节 提 到 的 C 语 言 甚至 早 于 
1978 年 的 K&R C， 是 20 世 纪 70 年 代 最 初 几 年 的 原始 C 语 言 。 

编译 器 没 办 法 在 内 存 里 完整 地 表示 单个 产 文 件 的 抽象 语法 树 s， 更 
不 可 能 把 整个 程序 (由 多 个 源 文件 组 成 ) 放 到 内 存 里 ， 以 完成 交叉 引用 
(不 同 源 文件 的 函数 之 间 相 互 调 用 ， 使 用 外 部 变量 等 等 ) 。 由 于 内 存 限 
制 ， 编 译 间 必 须要 能 分 别 编译 多 个 源 文件 ， 生 成 多 个 目标 文件 ， 再 设法 
把 这 些 目 标 文 件 组 合 ( 链 接 *)〉 为 一 个 可 执行 文件 。 

在 今天 看 来 ，C 语 言 这 种 支持 把 一 个 大 程序 分 成 多 个 源 文件 的 “ 功 
能 ”几乎 是 顺理成章 的 。 但 是 在 当时 而 言 ， 并 不 是 每 个 语言 都 有 间 地 做 
到 这 一 点 。 我 们 以 同一 时 期 (1968-1974) Niklaus Wirth 设 计 的 Pascal 语 
言 为 对 照 。Pascal 语 言 可 以 定义 函数 和 结构 体 ， 也 文 持 指针 ， 语 法 也 比 
当时 的 C 语 言 更 优美 。 但 它 长 期 没有 官方 规定 2 的 多 源 文 件 模 块 化 机 
制 ， 它 要 求 每 个 程序 (program ) 必须 位 于 同一 个 源 文件 2， 这 其 实 大 大 
限制 了 它 在 系统 编程 方面 的 用 途 s。 如 果 Pascal 一 早 就 克服 这 些 缺 点 
， “那么 我 们 今天 很 可 能 要 把 begin 和 end 直 接 映 射 到 键 竹 上 。 于 

或 许 是 受 内 存 限制 ， 一 个 可 执行 程序 不 能 太 大 ，Dennis Ritchie 编 写 
的 PDP-11 C 编 详 颖 不 是 一 个 可 执行 文件 ， 而 是 7 个 可 执行 文件 *: cc、 
cpp、as、ld、c0、cl、c2z。 其 中 cc 是 个 driver， 用 于 调用 另外 几 个 程 
序 。cpp 是 预 处 理 器 (Unix V7 从 c0 分 离 出 来 )， 当 时 叫做 compiler 
control line expander。c0、cl、c2 是 C 编 译 器 的 三 个 阶段 (phase) *，c0 
的 作用 是 把 源 程 序 编译 为 两 个 中 间 文 件 ，c1 把 中 间 文 件 编译 为 汇编 源 代 
但 ; c2 是 可 选 的 ， 用 于 对 生成 汇编 代码 做 完了 筷 优 化 。as 是 沪 编 费 ， 把 汇 
编 代 人 码 转换 为 目标 文件 。ld 是 链接 上 器， 把 目标 文件 和 库 文件 链接 成 可 执 
行文 件 。 编 译 流程 见 图 10-2。 不 用 cc， 手 工 编译 一 个 简单 程序 prog.c 的 
过 程 如 下 : 
/lib/cpp prog.c > prog.i # prog.i 是 预 处 理 之 后 的 源 代 码 
/lib/c@ prog.i temp1 temp2  # ce@ 生成 temp1 和 temp2 这 两 个 中 间 文 件 
/lib/c1 temp1 temp2 prog.s  # cl 读 入 temp1 和 temp2， 生 成 汇编 代码 prog.s 
as - prog.s # 把 prog.s 汇编 为 目标 文件 a.out。 狂 猜 a.out 的 厚意 ? 
ld -n /lib/crt8@.o a.out -lc # 把 a,out 链接 为 可 执行 文件 
当时 的 链接 妖 是 单 向 查找 未 决 符号 ， 因 此 要 把 crt8.o 放 到 a.out 之 前 ，-1lc 必须 放 到 来 昆 
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图 10-2 


为 了 能 在 尽量 减少 内 存 使 用 的 情况 下 实现 分 离 编译 ，C 语 言 米 用 
了 “ 隐 式 函数 声明 (implicit declaration of function) ”的 做 法 。 代 码 在 使 
用 前 文 未 定义 的 函数 时 ， 编 详 右 不 需要 也 不 检 答 函数 原型 2: 既 不 检查 
参数 个 数 ， 也 不 检查 参数 类 型 与 返回 值 类 型 。 编 译 器 认为 未 再 明 的 疯 数 
都 返回 int， 并 且 能 接受 任意 个 数 的 int 型 参数 。 而 且 早 期 的 C 语 言 甚 至 不 
严格 区 分 指针 和 int， 而 是 认为 二 者 可 以 相互 赋值 转换 。 在 C++ 程序 员 看 
来 ， 这 是 军 无 安全 保障 的 做 法 ， 但 是 C 语 言 束 是 如 此 地 相信 程序 员 。 

举例 解释 一 下 什么 是 “ 隐 取 函数 声明 ”。 


// hello,e 
int main() # 这 修 程 序 设 有 引用 任何 头 文件 
{ 
printf("hello C.Mn"): # 隐 式 声明 int printft(...Y;: 
return 中; 
} 
$ gcc hello.c -Wall # 用 gcc 可 以 编译 运行 通过 


hello.c: In function “main : 
hello.c:3: warning: implicit declaration of function Printf+ 
hello.c:3: warning: incompatible implicit declaration of built-in function printf 


$ g++ hello.c -Wall # 用 g++ 则 会 报错 
hello.c: In function Int mainC) : 
hello.c:3: error: 'printf’' was not declared in this scope 


如 果 C 程 序 用 到 了 菜 个 没有 定义 的 函数 (可 能 错误 拼写 了 函数 
名 ) ， 那 么 实际 造成 的 是 链接 错误 (undefined reference) ， 而 非 编译 错 
误 。 例 如 : 


AAA Undefined .ce 


Int main() 

{ z 
hel lowor ld(): # 隐 式 志明 helloworld 
return 6@: 

上 


$ gccec undefined.c -Wall 

undefined.c: In function 'main': 

undefined.c:3: Warning: implicit declaration of function 'helloworld' 
/tmp/ccHUcCcGat.o: In function “maln : 

undefined.c:(.text+@xa): undefined reference to ‘helloworld 
collect2: ld returned 1 exit status # 真正 报销 的 是 1d， 不 是 ce1 


其 实 ， 有 了 隐 式 函数 声明 ， 我 们 已 经 能 分 别 编译 多 个 源 文件 ， 然 后 
把 它们 链接 为 一 个 大 的 可 执行 文件 《此 处 指 的 是 编 诺 出 来 有 几 十 民 诏 的 


程序 ) 。 那 么 为 什么 还 需要 头 文 件 和 预 处 理 呢 ? 

根据 Eric S. Raymond 在 《The Art of Unix Programming》 第 17.1.1 节 
引用 Steve Johnson 的 话 ， 最 早 的 Unix 是 把 内 核 数据 结构 〈 例 如 struct 
dirent) 打印 在 手册 上 ， 然 后 每 个 程序 目 己 在 代码 中 定义 struct。 例 如 
Unix V5 的 ls(1) 源 人 码 3 中 就 目 行 定义 了 表示 目录 的 结构 体 。 有 有 了 预 处 理 和 
头 文 件 ， 这 些 公 共 信 息 束 可 以 做 成 头 文 件 放 到 /usrvinclude， 然 后 程序 包 
含 用 到 的 头 文 件 即 可 。 减 少 无 谓 错 误 ， 提 高 代码 的 可 移植 性 。 

最 早 的 预 处 理 只 有 两 项 功能 : 让 nclude 和 #define。 节 nclude 完 成 文件 
内 容 蔡 换 ，#define 只 文 持 定 义 宏 癌 和 量 ， 不 文 持 定义 安 图 数 。 早 期 的 头 文 
件 里 只 放 三 样 东 西 : struct 定 义 ， 外 部 变量 的 声 明 》 宏 钟 量 。 这 样 可 以 
减少 各 个 源 文 件 里 的 重复 代码 。 

到 目前 为 止 ， 头 文件 的 预 处理 的 作用 都 还 是 正面 的 。 在 谈 头 文件 与 
预 处 理 的 害处 之 前 ， 让 我 把 PDP-11 的 16-bit 地 址 空间 对 C 语 言及 其 编译 
模型 的 影 啊 讲 完 。 


10.1.2 C 语 言 的 编译 模型 


由 于 不 能 将 整个 兰 文 件 的 语法 树 保 存在 内 存 中 ，C 语 言 其 实 是 按 “ 单 
志 编 谋 (one pass) 3? 来 设计 上 的 。 所 谓 单 过 编译 ， 指 的 是 从 头 到 尾 扫 摘 
一 所 源 伺 ， 一 边 解 机 (parse) 代码 ， 一 边 即 刻 生 成 目标 代 伍 。 在 单 抽 编 
译 时 ， 编 详 右 只 能 看 到 目前 〈 当 前 语句 / 符号 之 前 ) 已 经 解析 过 的 代 
僻 ， 看 不 到 之 后 的 代码 ， 而 且 过 眼 即 筷 。 这 意味 看 


:C 语 言 要 求 结构 体 必 须 先 定义 ， 才 能 访问 其 成 员 ， 人 个 则 编 诺 硕 不 知 
道 结 构 体 成 员 的 类 型 和 偏 移 量 ， 束 无 法 立刻 生成 目标 代 但 。 

:局 部 变量 也 必须 先 定义 再 使 用 ， 因 为 如 果 把 定义 放 到 后 面 ， 编 详 
合 在 第 一 次 看 到 一 个 局 部 杰 量 时 并 不 知道 它 的 类 型 和 在 stack 中 的 位 置 ， 
也 束 无 法 立刻 生成 代码 ， 只 能 报错 退出 。 

:为 了 方便 编译 器 分 配 stack 空 间 ，C 语 言 要 求 局 部 变量 只 能 在 语句 块 
的 开始 处 定义 。 

:对 于 外 部 变量 ， 编 译 右 只 需要 知道 它 的 类 型 和 名 字 ， 不 需要 知道 
它 的 地 址 ， 因 此 需要 先 声明 后 使 用 。 在 生成 的 目标 代码 中 ， 外 部 变量 的 
地 址 是 个 空 日 ， 留 给 链接 需 去 填 上 。 

: 当 编 详 项 看 到 一 个 函数 调用 时 ， 按 隐 式 函数 声明 规则 ， 编 译 卉 可 
以 立刻 生成 调用 函数 的 汇编 代码 〈 函 数 参数 入 栈 、 调 用 、 获 取 返 回 
信 )， 这 里 唯一 疝 不 能 人 确定 的 是 冰 数 的 实际 地 址 ， 编 译 妖 可 以 留 下 一 个 
宇 日 给 链接 井 去 填 。 


对 C 编 译 器 来 说 ， 只 需要 记 住 struct 的 成 员 和 偏 移 ， 知 道外 部 变量 的 
类 型 ， 束 足以 一 边 解 析 源 代码 ， 一 边 生 成 目标 代码 。 因 此 早期 的 头 文 件 
和 了 预 处 理 恰好 满足 了 编 详 器 的 需求 。 外 部 符号 〈 函 数 或 变量 ) 的 决议 
(Cresolution ) 可 以 留 给 链接 器 去 做 兰 。 

从 上 面 的 编 详 过 程 可 以 用 现 ，C 编 译 需 可 以 做 得 很 小 ， 只 使 用 很 少 
的 内 存 。 据 我 观 穴 ，Unixz V5 的 C 编 详 医 甚至 没有 使 用 动态 分 配 内 存 ， 而 
是 用 一 些 全 局 的 栈 和 数组 来 帮助 处 理 复杂 表达 式 和 语句 租 套 ， 整 个 编译 
侨 鸭 内存 消耗 是 国定 的 。 我 推测 C 语 言 不 支持 在 疯 数 内 部 散 僚 定义 
疯 数 也 是 受 此 有 影 啊 ， 因 为 这 样 一 来 意味 着 必须 用 递归 才能 解析 函数 体 ， 
编译 占有 的 内 存 消 耗 束 不 是 一 个 定 值 。) 

受 “ 不 能 网 僚 ” 的 影 响 ， 整 个 C 语 言 的 命名 空间 是 平坦 的 〈flat) ， 疗 
数 和 struct 都 处 于 全 局 命名 空间 。 这 其 实 给 C 程 序 员 禹 来 了 不 少 奈 烦 ， 
为 每 个 库 都 要 设法 避免 目 己 的 函数 和 struct 与 其 他 库 冲 突 。 早 期 C 语 言 甚 
至 不 允许 在 不 同 struct 中 使 用 相同 的 成 员 名 称 *， 因 此 我 们 看 到 一 些 struct 
的 名 字 有 前 弘 ， 例 如 struct timeval 的 成 员 是 tv_ sec 和 tv_ usec，struct 
sockaddr_in 的 成 员 是 sin_family、sin_port、sin_addr。 

讲 清 楚 了 C 语 言 的 编译 模型 ， 我 们 和 再 来 看 看 它 对 C++ 的 影响 〈 和 伤 
害 ) 。 


10.2 C++ 的 编译 模型 


由 于 要 你 持 与 C 菩 容 ， 原 本 很 多 在 C 语 言 中 顺理成章 或 者 危害 不 大 
的 东西 继承 到 了 C++ 里 束 成 了 大 袜 害 ?。 


10.2.1 早退 编译 


C++ 也 继承 了 单衣 编译 。 在 里 衣 编译 时 ， 编 译 器 只 能 根据 目前 看 到 
的 代码 做 出 决 案 ， 读 到 后 面 的 代码 也 不 会 影响 前 面 做 出 的 决定 。 这 特别 
影响 了 名 字 碍 找 (name lookup) 和 函数 重 载 决议 。 

和 匈 说 名 字 答 找 ，C++ 中 的 名 学 包括 类 型 名 、 函 数 名 、 变 量 名 、 
typedef 名 、template 名 等 等 。 比 方 说 对 下 面 这 行 代 码 
Foo<T> ai  # Foo、T、a 这 三 个 名 字 都 不 征 macro 
如 采 不 知道 Foo、T、a 这 三 个 名 字 分 别 代 表 什 么 ， 编 详 硕 殉 无 法 进行 语 
法 分 析 。 根 据 之 前 出 现 的 代码 不 同 ， 上 面 这 行 语句 至 少 有 三 种 可 能 性 : 


1. Foo 是 个 template<typename X> class Foo;，T 是 type， 那 么 这 人 句 话 
以 工 为 模板 类 型 参数 类 型 共 现 化 了 Foo<T> 类 型 ， 并 定义 了 变量 as 

2. Foo 是 个 template<int X> class Foo;，T 了 是 constint 变 量 ， 那 么 这 人 句 
话 以 T 为 非 类 型 檬 板 参 数 具 现 化 了 Foo<T> 类 型 ， 并 定义 了 变量 a。 

3. Fo0、T、a 都 是 int， 这 人 句 话 是 个 没 喻 用 的 表达 式 语 人 句 。 


别 起 了 operator<0O 古 可 以 草 载 的 ， 这 人 句 人 简 蛙 代码 还 可 以 表达 别 的 总 
思 3。 另 外 一 个 经 典 的 例子 是 AA BB(CC);， 这 和 句 话 既 可 以 声明 函数 ， 
也 可 以 定义 变量 。 

C++ 只 能 通过 解析 源码 来 了 解 名 字 的 含义 ， 不 能 像 其 他 语言 那样 通 
过 百 接 读 取 目标 代码 中 的 元 数据 来 获得 所 需 信息 《图 数 原 型 、class 类 型 
定义 等 等 ) 。 这 意味 着 要 想 准 确 理 解 一 行 C++ 代 个 的 含义 ， 我 们 需要 退 
读 这 行 代码 之 表 的 所 有 代码 ， 并 理解 每 个 从 号 《包括 操作 从) 的 定义 。 
而 头 文件 的 存在 使 得 肉眼 观察 几乎 是 不 可 能 的 。 完 全 有 可 能 出 现 一 种 情 
况 : 荣 人 不 经 意 改 变 了 头 文 件 ， 或 者 仅仅 是 改变 了 源 文 件 中 头 文件 的 包 
伟 顺 序 ， 束 改变 了 代码 的 含义 ， 人 破坏 了 代码 的 功能 。 这 时 能 造成 编译 错 
误 已 经 是 谢 天 谢 地 了 。 

C++ 编 译 硕 的 从 号 表 人 至 少 要 保存 目前 已 看 到 的 每 个 名 字 的 信义， 包 
括 class 的 成 员 定 义 、 已 声明 的 变量 、 己 知 的 函数 原型 等 ， 才 能 正确 解析 
源 代 码 。 这 还 没有 考虑 template， 编 译 template 的 难度 超 乎 想象 。 编 译 器 
还 要 正人 确 处 理 作 用 域 艇 全 引发 的 名 字 的 舍 义 变化 ， 内 层 作 用 域 中 的 名 字 
有 可 能 遮 住 《shadow) 外 层 作 用 域 中 的 名 字 。 有 些 其 他 语言 会 对 此 发 出 
警告 ， 对 此 我 建议 用 g++ 的 -Wshadow 选 项 来 编译 代码 。〔 插 一 句 题 外 
话 : muduo 的 代码 都 是 -Wall -Wextra -Werror -Wconversion -Wshadow 编 
译 的 。) 


再 说 函数 重 载 决议 ， 当 C++ 编 详 如 读 a 到 一 个 孙 数 调用 语句 时 ， 它 必 
须 (也 只 能 ) 从 目前 已 看 到 的 同名 孙 数 中 选 出 最 佳 疯 数 。 哪 避 后 和 面 的 代 
但 中 出 现 了 更 合适 的 匹配 ， 世 不 能 影 啊 当 前 的 决定 2。 这 和 意味 看 如 末 我 
们 交换 两 个 namespace 级 的 函数 定义 在 源 代 码 中 的 位 置 ， 那 么 有 可 能 改 
变 程 序 的 行为 。 

比方 说 对 于 如 下 一 段 代 但 : 


void foo(int) 


printf( footinty ;sn 7) : 


vo1ld bar() 


foo('a'): /AAA 十 用 foo(int) 
} 


vo1id foo(char) 


Printft footcharyysn ): 
+ 


int main() 


bar(); 
上 

如 果 有 人 在 重 构 的 时 候 把 void bar0 的 定义 挪 到 void foo(cham 之 后 ， 
程序 的 输出 就 不 一 样 了。 

这 个 例子 充分 说 明 实 现 C++ 重 构 工 具 的 难 虚 : 重 构 右 对 代码 的 理解 
必须 达到 编译 右 的 水 准 ， 才 能 在 修改 代码 时 不 改变 原音。 函数 的 参数 可 
以 是 个 复杂 表达 却 ， 重 构 堪 必须 能 正确 解析 表达 却 的 类 型 才能 完成 重 载 
决议 。 比 方 说 foo(str[0]) 应 该 调用 哪个 fooO) 跟 str[0] 的 类 型 有 关 ， 而 str 可 
能 是 个 std::string， 这 束 要 求 午 构 占 能 正确 理解 template 并 上 其 现 化 之 。 
C++ 至 今 没 有 像样 的 重 构 工 具 ， 榴 怕 正 是 这 个 原因 。 

C++ 编 详 右 必 须 在 内 存 中 保存 图 数 级 的 语法 树 ， 才 能 正确 实施 返回 
值 优 化 (RVO) 4， 人 否则 过 到 retum 语 句 的 时 候 编 诺 需 无 法 判断 被 返回 的 
这 个 对 象 是 不 是 那个 可 以 被 优化 的 named object2 。 

其 实 由 于 C++ 新 增 了 不 少 语言 特性 ，C++ 编 译 右 并 不 能 真正 做 到 像 
C 那 样 过 眼 即 志 的 单衣 编译 。 但 是 C++ 必 须 兼 容 C 的 语意 ， 因 此 编译 器 不 
得 不 装 得 好 像 是 蛙 表 编译 准确 地 说 是 蛙 明 parse) 一 样 ， 哪 怕 它 内 部 是 
multiple pass 的 2。 


10.2.2 ”前 问 声明 


几乎 每 份 C++ 编码 规范 *ss 都 


MH> 
从 
滋 
/加 
al 


便 用 前 回声 明 来 减少 编 详 


期 依赖 ， 这 里 我 用 “ 单 同 编译 ”来 解释 一 下 这 为 什么 是 可 行 的 ， 很 多 时 候 
其 至 是 必需 的 。 

如 果 代 人 码 里 调用 了 孔 数 foo()，C++ 编 详 疾 parse 此 处 冰 数 调用 时 ， 般 
要 生成 函数 调用 的 目标 代码 。 为 了 完成 语法 检 答 并 生成 调用 函数 的 目标 
代码 ， 编 详 鼎 需要 知道 函数 的 参数 个 数 和 类 型 以 及 函数 的 返回 值 类 型 ， 
它 并 不 需要 知道 水 数 体 的 实现 (除非 要 做 inline 展 开 〉 。 因 此 我 们 通 第 
把 函数 原型 放 到 头 文件 里 ， 这 样 每 个 包含 了 此 头 文 件 的 源 文件 都 可 以 使 
用 这 个 函数 。 这 是 每 个 C/C++ 程序 员 都 明白 的 事情 。 

当然 ， 光 有 函数 原型 是 不 够 的 ， 程 序 其 Te 
个 函数 ， 奋 则 会 造成 链接 错 谋 (未 定义 的 符号 ) 。 这 个 定义 foo0) 函 数 的 
人 包含 foo0) 的 头 文 件 。 但 是 ， 假设 在 定义 foo0 陨 数 时 把 参 
数 类 型 写 错 了 ， 会 出 现 什 么 情况 ? 
:/ in foo.h 
void foo(int): // 原型 声明 


/i in foo .ee 
#include "foo.h" 


void foo(int, bool) "” 在 定义 的 时 候 避 上 须 把 参数 列表 和 返回 类 型 朱 一遍。 

/ 有 抄 错 的 可 能 ， 也 可 能 将 来 改 了 一 处 ， 忘 了 改 另 一 处 
/i: do something 

} 


编译 foo.cc 会 有 错 吗 ? 不 会 ， 因 为 编译 右 会 认为 foo 有 两 个 重 载 。 号 
是 链接 整个 程序 会 报错 : 找 不 到 void foo(int) 的 定义 。 你 有 没有 过 到 过 
似 的 问题 ? 

这 是 C++ 的 一 种 典型 缺陷 ， 即 一 样 东西 区 分 声明 和 和 定义， 代码 放 到 
不 同 的 文件 中 ， 这 了 束 有 出 现 不 一 致 的 可 能 性 。C/C++ 里 很 多 稀 柯 古怪 的 
错误 就 源 日 于 些 ， 比 如 [ExpC] 举 的 一 个 经 典 例子 ， 在 一 个 源 文 件 里 声明 
extern char* name， 在 男 一 个 产 文 件 里 却 定义 成 char name[] 二 "Shuo 
Chen":。 

对 于 函数 的 原型 声明 和 函数 体 定 义 而 言 ， 这 种 不 一 致 胡 现在 参数 列 
表 和 返回 类 型 上 ， 编 译 器 通常 能 查 出 参数 列表 不 同 ， 但 不 一 定 能 查 出 返 
器 类 型 不 同 ， 见 后 文 此 处 。 也 可 能 参数 类 型 相同 ， 但 是 顺序 调换 了 。 
例如 原型 声明 为 draw(int height, int width), 害 义 的 时 候 与 成 drawfint 
width， 人 编译 器 无 法 但 出 此 类 错误 ， 因 为 原型 声明 中 的 变量 名 
是 无 用 的 

其 他 语言 似乎 没有 这 个 问题 。 例 如 我 们 不 需要 在 Java 里 使 用 函数 原 
型 再 明 ， 一 个 成 员 也 数 的 参数 列表 只 需要 在 代码 里 出 现 一 次 ， 不 存在 不 


一 人 致 的 可 能 。Java 编 译 右 也 不 受 “ 时 人 衣 编 详 ” 的 约束 ， 调 整 成 员 函 数 的 顺 
序 不 会 影响 代码 语义 。 Java 刀 这 有 生生 这 时 的 闪 文 作 包 合 机 制 ， 而 是 有 
一 套 基于 package 的 模块 化 机 制 ， 陷阱 少 得 多 

如 果 要 写 一 个 库 给 别人 用 ， 屠 碌 着 党 ;要 把 接口 函数 的 原 型 再 明 放 到 
头 文 件 里 。 但 是 在 写 库 的 内 部 实现 的 时 候 ， 如 果 没 有 出 现 函 数 相互 调用 
的 情况 ， 那 么 我 们 可 以 适当 组 织 函 数 定义 的 顺序 ， 让 基础 函数 出 现在 
代码 的 前 面 ， 这 样 承 不 必 前 同 声 明 图 数 原型 了 。 参 见 云 风 的 一 篇 博客 


疯 数 原 型 声明 可 以 看 作 是 对 函数 的 前 向 声明 (forward 
declaration ) ， 除 此 之 外 我 们 还 营利 用 到 class 的 前 同 声 明 。 

有 些 时 候 class 的 前 癌 声 明 是 必需 的 ， 例 如 此 处 出 现 的 Child 和 了 Parent 
class 相 互 指 涉 的 情况 2。 有 些 时 候 class 的 完整 定义 是 必需 的 ces rs ， 例 
如 要 访问 class 的 成 员 ， 或 者 要 知道 class 的 大 小 以 便 分 配 空 间 。 其 他 时 
候 ， 有 class 的 前 回 声 明 丈 足够 了 了 ， 编 详 磊 只 需要 知道 有 这 人 么 个 名 字 的 


class。 


对 于 class Foo， 以 下 几 种 使 用 不 需要 看 见 其 完整 定义 : 


:定义 或 声明 Foo* 和 Foo&， 包 括 用 于 函数 参数 、 返 回 类 型 、 局 部 变 
量 、 类 成 员 变 量 等 等 。 这 是 因为 C++ 的 内 存 模 型 是 fat 的 ，Foo 的 定义 无 
法 改变 Foo 的 指针 或 引用 的 含义 。 

声明 一 个 以 Foo 为 参数 或 返回 类 型 的 函数 ， 如 Foo bar0 或 void 
bar(Foo f)， 但 是 ， 如 果 代 码 里 调用 这 个 函数 就 需要 知道 Foo 的 定义 ， 因 
为 编 详 霹 要 使 用 Foo 的 斤 贝 构造 图 数 和 本 构图 数 ， 因 此 至 少 要 看 到 它们 
的 声明 〈 虽 然 构 造 函 数 没 有 参数 ， 但 是 有 可 能 位 于 private 区 ) 。 


muduo 代 人 码 中 文 量 使 用 前 同 声 明 来 减少 include， 并 且 避 免 把 内 部 
class 的 定义 对 露 给 用 户 代码 。 

[CCS] 第 30 条 规定 不 能 重 载 &&、||、,( 喜 号 ) 这 三 个 操作 符 ， me 
的 C++ 编程 规范 补充 规定 2 不 能 重 载 一 元 operator& 〈 取 址 操作 人 符 ) ， 
为 一 旦 重 载 operator&， 这 个 class 的 束 不 能 用 前 回声 明了 。 例 如 : 


class Foo: // 前 向 声明 


void barfFoog foo) 
{ 


} 


Foox p = &foo: // 这 何 话 是 取 foo 的 地 址 ， 但 是 如 末 重 载 7 B&， 意 思 就 变 了 。 


代码 的 行为 跟 是 否 include Foo 的 完整 定义 有 关 ， 等 于 埋 了 “定时 炸 


有 
10.3 ”C++ 链接 (linking) 


链接 〈linking) 这 个 话题 可 以 单独 写 一 本 书 [LLL]， 这 本 书 
讲 “C++ 链 接 ” 的 有 第 4.4 广 “静态 链接 / C++ 相关 问题 ?和 第 9.4 阁 “C++ 与 动 
态 链接 : ”等 草 节 。 

本 市 午 点 介绍 与 Ct+ 日 第 开 发 相关 的 链接 方面 的 问题 ， 先 以 手工 编 
制 一 本 书 的 目录 和 交叉 索引 为 例 ， 介 绍 链接 颖 的 基本 工作 原理 23s。 假 
设 一 个 作者 与 完了 十 多 个 草 玉 ， 你 的 任务 是 把 这 些 章 节 编 辑 为 一 本 书 。 
每 个 草 节 的 篇 帆 不 等 ， 从 30 页 到 80 页 都 有 ， 都 已 经 分 别 排 好 厂 打 印 出 
来 。 (已经 从 源 文件 编译 成 了 目标 文件 。) 

章节 之 间 有 交叉 引用 ， 即 正文 里 会 出 现 * 请 参考 XXX 页 的 第 YYY 
”等 字样 。 作 者 在 搂 与 每 个 章节 的 时 候 并 不 知道 当前 文字 的 草 世 号 ， 
当然 也 不 知道 当前 文字 将 来 会 出 现在 哪 一 页 上 。 因 为 他 可 以 随时 调整 草 
贡 有 顺序 、 增 减 文字 内 容 ， 这 些 举动 会 影响 最 终 的 章节 网 号 和 页 何 。 为 了 
引用 其 他 章节 的 内 容 ， 作 者 会 在 文字 中 放 anchor (LATEX 是 \label) ， 

给 需要 被 引用 的 文字 命名 。 比 方 说 本 章 *C++ 编 详 链接 模型 精 要 ”的 名 字 
征 ch:cppCompilation。 《这 束 好 比 给 全 局 函数 或 全 局 变量 起 了 一 个 独 一 
无 二 的 名 字 。) 在 引用 其 他 章 方 的 编写 或 贝 码 时 ， 作 者 在 正文 中 留 下 一 
个 适当 的 空 日 ， 并 注 明 这 里 应 该 填 上 的 茶 个 anchor 的 页码 或 章节 编 与 
(LATEX 古 \ref{ch:cppCompilation}) 。 

现在 你 全 到 了 这 十 几 揉 打印 的 文稿 ， 怎 么 把 它们 编辑 成 一 本 书 呢 ? 

人 


和 大 大 [ 广 


机 人 消 : 


1a， 把 这 些 文稿 按 音 的 先后 顺序 登 好 ， 这 样 束 可 以 统一 编制 正文 页 
码 。 
1b. 在 编制 页 码 的 同时 ， 间 市 写 也 可 以 一 并 确定 下 来 。 


在 进行 1a 和 1b 这 个 步骤 时 ， 你 可 以 同时 顺序 记录 两 张 纸 : 
:音节 的 编号 、 标 题 和 它 出 现 的 页 码 ， 用 于 编制 目录 。 


遇 到 anchor 时 ， 记 下 它 的 名 字 和 出 现 的 页 码 、 章 节 号 ， 用 于 解决 交 
又 引用 。 


如 末 按 上 面 的 办 法 来 操作 ， 解 决 冯 又 引用 束 不 难 了 。 第 二 步 : 


2. 再 从 头 翻 一 遇 书 稿 ， 过 到 空白 的 交叉 应 用 ， 融 到 anchor 索 引 表 
里 得 出 它 的 页 合 和 章节 编 亏 ， 拓 上 冬日。 


至 此 ， 如 果 一 切 顺 利 的 话 ， 书 籍 编辑 任务 完成 。 请 读者 思考 ， 为 什 
么 书 的 正文 页 码 用 阿拉 伯 数 字 ， 而 前 言 和 目录 的 页 码 通常 是 罗马 数字 ? 
如 果 整 本 书 从 头 到 尾 连续 编排 页 码 ， 手 工 处 理会 遇 到 什么 困难 ? 

。 在 这 项 工作 中 最 容易 出 现 以 下 两 种 意外 情况 ， 也 正 是 最 常见 的 两 和 
连接 错误 ， 


:正文 中 交叉 应 用 找 不 到 对 应 的 anchor， 衬 日 项 不 上 咋 办 ? 
: 菏 个 anchor 多 次 定义 ， 该 选 哪 一 个 填 到 交叉 引用 的 空 折 处 呢 ? 


上 面 摘 述 的 办 法 要 至 少 翻 两 过 全 文 ， 有 没有 办 法 从 头 到 尾 只 翻 一 允 
书 稳 束 完成 交叉 引用 昵 ? 如果 作 者 在 写 书 的 时 候 只 从 前 面 的 章节 引用 后 
面 的 章节 ， 那 么 是 可 以 做 到 这 一 点 的 。 我 们 在 编排 页 全 和 和 章节 号 的 时 候 
顺便 周旋 全文， 过 到 新 的 交叉 引用 空白 束 记 到 一 张 之 上 。 这 张 纸 记录 交 
又 引用 的 名 字 和 空白 出 现 的 页 人 码 。 我 们 知道 后 面 肯 定 能 过 到 对 应 的 
anchor。 在 过 到 一 个 anchor 时 ， 去 那 张 纸 上 看 看 有 没有 交叉 引用 用 到 
它 ， 如 果 有 ， 如 往 回 翻 到 衬 日 的 页 全， 把 衬 晶 填 上 ， 回 头 再 继续 编制 页 
伺 和 草 节 号 。 这 样 一 遇 扫 下 来 ， 章 节 编 号 、 页 码 、 交 叉 引 用 项 全 部 损 定 


a 

这 正 是 传统 one-pass 链 接 需 的 工作 方式 ， 在 使 用 这 种 链接 需 的 时 候 
要 注意 参数 顺序 ， 越 基础 的 库 越 放 到 后 面 。 如 果 程 序 用 到 了 多 个 
library， 这 些 library 之 间 有 依赖 《假设 不 存在 循环 依赖 ) ， 那 么 链接 天 
的 参数 顺序 应 该 是 依赖 图 的 拓扑 排序 。 这 样 保证 每 个 未 决 从 号 都 可 以 在 
后 面 出 现 的 库 中 找到 。 比 如 A、B 两 个 彼此 独立 的 库 辣 时 依赖 C 库 ， 那 么 
链接 的 顺序 是 ABC 或 BAC。 

为 什么 这 个 规定 不 是 反 过 来 ， 先 列 出 基础 库 ， 有 再 列 出 应 用 库 呢 ? 原 
因 是 前 一 种 做 法 的 内 存 消 耗 要 小 得 多 。 如 果 先 处 理 基 础 库 ， 链 接 右 不 知 
道 库 里 哪些 符 扎 会 被 后 面 的 代码 用 到 ， 因 此 只 能 每 一 个 都 记 住 ， 链 接 需 
的 内 存 消 耗 跟 所 有 库 的 大 小 之 和 成 正比 。 反 过 来 ， 如 果 先 处 理应 用 库 ， 
那么 只 需要 记 住 目前 尚未 人 查 到 定义 的 从 号 就 行 了 。 和 链接 絮 有 的 内 存 消耗 跟 
程序 中 外 部 符号 的 多 少 成 正比 而且 一 旦 填 上 空白 ， 束 可 以 态 挥 它 )。 
以 上 简要 介绍 了 C 语 言 的 链接 模型 ，C++ 与 之 相 比 主要 增加 了 两 项 
容 : 


:图 数 重 载 ， 需 要 类 型 安全 的 链接 me 92 ， 即 name mangling。 和 
vague linkagesz， 即 同一 个 符号 有 多 份 互 不 冲突 的 定义 。 


name mangling 的 事情 一 般 不 需要 程序 员 操心 ， 只 要 和 营 握 extern 
"C" 的 用 法 ， 能 和 C 程 序 库 interoperate 就 行 。 何 况 现 在 一 般 的 C 语 言 库 的 
头 文件 都 会 适当 使 用 extern "C"， 使 之 也 能 用 于 C++ 程序 。 

C 语 言 通 利 一 个 符号 在 程序 中 只 能 有 一 处 定义 ， 人 否则 惑 会 造成 重复 
定义 。C++ 则 不 同 ， 编 译 右 在 处 理 单 个 源 文件 的 时 候 并 不 知道 菜 些 从 号 
是 人 否 应 该 在 本 编译 单元 定义 。 为 了 你 险 起 见 ， 只 能 每 个 目标 文件 生成 一 
份 “ 弱 定义 ”， 而 依赖 链接 器 去 选择 一 份 作为 最 终 的 定义 ， 这 就 是 Vague 
linkage。 不 这 么 做 的 话 束 会 出 现 未 定义 的 从 号 错误 ， 因 为 链接 器 通 沿 不 
会 聪明 到 反 过 来 调用 编 详 项 去 生成 未 定义 的 符号 。 为 了 让 这 种 机 制 能 
确 运 作 ，C++ 要 求 代 人 码 满足 一 次 定义 原则 CODR) ， 人 否则 代码 的 行为 是 
随机 的 ， 视 linker 心 情 好 坏 而 定 。 

以 下 分 别 和 窗 要 谈 谈 这 两 方面 对 编程 的 影 啊 。 


10.3.1 浮 数 重 载 


众所周知 ， 为 了 实现 函数 重 载 ，C++ 编 译 占 普 退 采用 名 字 改 编 
(name mangling〉 的 办 法 3， 为 每 个 章 载 水 数 生 成 独一无二 的 名 字 ， 这 
样 在 链接 的 时 候 就 能 找到 正确 的 重 载 版 本 。 比 如 foo.cc 里 定义 了 两 个 
foo0 重 载 函 数 。 


/i foo.cc 
int foo(bool x) 
return 42. 


1} 


int footint x) 
{ 


return 168: 


1 


$ g++ -Cc foo.cc 

$ nm foo.o # foo.0 定义 了 两 个 external linkage 
000000000000000 T _z3foob 

oo6oobeootodgeodle T _73fool 

$ c++filt _Z3foob _Z3fooi  # unmangle 这 两 个 函数 所 

foo(bool) # 注意 ，mangled name 里 没有 返回 类 型 
foot1int) 


注意 普通 non-template 函 数 的 mangled name 不 包含 返回 类 型 。 记 得 


吗 ， 返 回 兴 型 不 参与 图 数 重 载 。 


这 其 实 有 一 个 小 小 的 隐患 ， 也 是 “C++ 典型 缺陷 ”的 一 个 体现 。 如 果 
一 个 源 文件 用 到 了 重 载 函数 ， 但 它 看 到 的 函数 原 琢 声 明 的 返回 关 开 站 错 


的 《违反 了 ODR) ， 链 搂 带 无 法 捕 换 这 样 的 钳 误 。 


// main.cc _ 同和 
void foo(bool): # 返回 类 型 错误 地 写成 了 void 
int main() 
foo(true): 
1 
$ g++ -Cc main.cc 
$ nm main.o # 目标 文件 依赖 _Z3foob 这 个 符号 
U _2Z3foob 


a00000000000000 TT maln 


$ g++ main.o foo.o # 能 正和 常生 成 ./a.out 


对 于 和 内置 医 型 ， 这 应 该 不 会 造成 实际 的 影响 。 但 是 如 条 返回 闫 


class， 那 么 吏 天 晓得 会 发 生 什 么 了 。 


型 是 


10.3.2 inline 函数 


inline 国 数 的 方方面面 见 [EC3] 第 30 条 。 由 杆 inline 函数 的 关系 ， 
C++ 源 代 码 里 调用 一 个 函数 并 不 意味 看 生成 的 目标 代码 里 也 会 做 一 次 真 
正 的 图 数 调用 《〈 可 能 看 不 到 call 指 令 ) 。 现 在 的 编 详 项 聪 明 到 可 以 目 动 
判断 一 个 函数 是 否 适合 inline， 因 此 inline 关 键 字 在 源 文 件 中 往往 不 是 必 
需 的 。 当 然 ， 在 头 文 件 里 inline 还 是 要 的 ， 为 了 防止 链接 磊 抱 怨 重 复 定 
义 (multiple definition ) 。 现 在 的 C++ 编译 故 采 用 重复 代码 消除 2 的 办 法 
来 避免 重复 定义 。 也 吏 是 说 ， 如 末 编 详 套 无 法 inline 展 开 的 话 ， 每 个 编 
详 单元 都 会 生成 inline 国 数 的 目标 代码 ， 然 后 链接 器 会 从 多 份 实现 中 任 
选 一 份 保留 ， 其 余 的 则 丢 工 (vague linkage) 。 如 果 编 译 需 能 够 展开 
ee 那 吏 不必 单 独 为 之 生成 目标 代码 了 《除非 使 用 函数 指针 指 
可 它 ) 。 

如 何 判 断 一 个 C++ 可 执行 文件 是 debug build 还 是 release build? 换 言 
之 ， 如 何 判断 一 个 可 执行 文件 是 -00 编 译 还 是 -02 编 译 ? 我 通常 的 做 法 是 
看 class template 的 短 成 员 函 数 有 没有 伏 inline 展 开 。 例 如 : 


/i VeC.CC 
#include <vector> 
tinclude <stdio.h> 


int malnt 


std: :vector<int> vi: 
printf("%zd\n"，vi,size()): # 这 里 调用 了 inline 国 数 size() 
} 


$ g++ -Wall vec.cce # non-optimized build 

$ nm .A/a.out |grep size|ct++filt 

ooooooooeo4607ac W std: :vector<int, std::allocator<int> >::size() const 
// vector<int>: :size() 没有 inline 展开 ， 目 标 文 件 中 出 现 函 数 ( 难 ) 定义 。 


$ g++ -Wall -O02 vec.cc # optimized build 
$ nm ./a.out |grep size|ct++f1ilt 
// 没有 输出 ， 因 为 vector<int>::size() 被 inline 展开 了 。 

注意 ， 编 译 器 为 我 们 自动 生成 的 dass 析 构 函 数 也 是 inline 函 数 ， 有 
时 候 我 们 要 故意 out-line， 防 止 代码 鹏 胀 或 出 现 编 详 错误。 以 下 Printer 是 
依据 后 面 $11.4 介 绍 的 pimpl 手 法 实现 的 公开 class。 这 个 class 的 头 文 件 完 
全 没有 系 露 Impl class 的 任何 细 和 ， 只 用 到 了 前 同 声 明 。 并 且 有 意 地 把 构 
造 疯 数 和 析 构 函数 也 吕 式 声明 了 。 


printer.h 
#include <boost/scoped_ptr.hpp> 


class Printer // : boost::noncopyable 


public: 

Printerty) 

~Printert); YA make it out-line 
i:/: other member functions 


private: 
class Impl; // forward declaration only 
boost::scoped_ptr<Impl> impl_: 
3 
printer.h 
在 源 文 件 中 ， 我 们 可 以 从 容 地 先 定 义 Printer::Impl， 然 后 再 定义 
Printer 的 构造 国 数 和 术 构 函 效 。 
printer.cc 
#include "printer.h” 
class Printer::Impl 


/members 
上 
Printer: :Printerd) , | 
: impl_(new Impl) // 现在 编译 瑚 看 到 了 Impl 的 定义 ， 这 何 话 能 编译 通过 。 
全 二 
Printer::~Printer() // 尽管 析 构 ] 阔 数 天 空 有 的， 也 ,必须 放 到 这 里 来 定义 。 理 则 编译 器 
{ jy 在 将 隐 式 声 上 明 的 ~Printer() inline 展开 的 时 候 无 法 看 到 


1 // Impl::~Impl1() 的 声明 ， 会 报错 。 见 boost: :checked_delete 
一 printercc 


在 现代 的 C++ 系 统 中 ， 编 译 和 链接 的 界限 更 加 模糊 了 。 传 统 C++ 教 
材 告诉 我 们 ， 要 想 编 译 占 能 够 inline 一 个 函数 ， 那 么 这 个 函数 体 必 须 在 
当前 编 详 单元 可 见 。 因 此 我 们 通 篆 把 公共 inline 函 数 放 到 头 文 件 中 。 现 
在 有 了 link time code generation®, 编 详 需 人 不 需要 看 到 inline 函数 的 定义 ， 
inline 展 开 可 以 留 给 链接 左 去 做 。 

除了 了 inline 函数 ，g++ 还 有 大 量 的 内置 函数 built-in function ) 全 
此 源 代 码 中 出 现 memcpy、memset、strlen、sin、exp 之 类 的 “函数 调 
用 ?不 一 宪 真 的 会 调用 libc 里 的 库 函 数 。 另 外 ， 由 于 编 详 需 知 道 这 些 函 数 
的 功能 ， 因此 优化 起 来 更 充分 。 例 如 muduo 日 志 库 就 使 用 了 内 置 strchrg) 

函数 在 编 i 对 期 求 出 文件 的 basename。 

有 意思 的 是 ， 编 译 器 如 何 处 理 inline 函 数 中 的 static 变 量 ? 这 个 留 给 
有 兴趣 的 谈 者 去 探究 吧 。 


10.3.3 ”模板 
C++ 模板 包括 函数 模板 和 次 模板 ， 与 链接 相关 的 话题 包括 : 


:函数 定义 ， 包 括 具 现 化 后 的 函数 模板 、 奖 模板 的 成 员 函 数 、 关 模 
板 的 静态 成 员 函 数 等 。 

:变量 定义 ， 包 括 函 数 醒 板 的 静态 数据 变量 、 关 模板 的 静态 数据 成 
员 、 关 模板 的 全 局 对 象 等 。 


模板 编译 链接 的 不 同 之 处 在 于 ， 以 上 其 有 external linkage 的 对 象 通 
季 会 在 多 个 编 详 单元 被 定 义 。 链 接 硕 必须 进行 重复 代码 消除 ， 才 能 
确 生 成 可 执行 文件 。 


template 和 inline 函 数 会 不 会 导致 代 但 膨胀 


假设 有 一 个 定 长 Buffer 类 ， 其 内 置 buffer 长 上 度 是 在 编译 期 确定 的 ， 我 
们 可 以 把 它 实现 为 非 类 型 类 模板 : 《完整 代码 见 muduo/base/LogStream.h 
中 的 FixedBuffer class ) 


template<int Size> 
class Buffer 


public: 
Bufferfty : index_(8) {9 


vold append(const voild* data, int len) 
: :memcpy(buffer_+index_, data, len)}): 
index_ += len:; 


了 


void clear() { index_ = 有 0 1 
fother members 


private: I 
char buffer_[Size]; // Size 十 模板 参数 
int lindex_; 


让 


在 代码 中 使 用 了 Buffer<256> 和 Buffer<1024> 两 份 具 现 体 : 


int main() 

{ 
Buffer<256> b]; 
bl.append('"hello”, 5); // Buffer<256»>: :append() 
bl.clear(): // Buffer<256>::clear() 


Buffer<1024> b2: 
b2.append("template”, 8); // Buffer<1024>: :append() 
b2.cleartl): //: Buffer<1624>: :clear() 


sy J > pe Ey = 、 -HH 
按照 C+t+ 檬 板 的 其 现 化 规则 ， 编 译 右 会 为 每 一 个 用 到 的 类 模板 成 员 
函数 具 现 化 一 份 实体 。 
$ g++ buffer .cc 
$ nm a.out 
O0400748 W _ZN6BufferILI1624EE5SCLearEv # Buffer<1024>::clear(C) 
O04006f2 W _ZN6BufferlLili824EE6appendEPKYy1 # Buffer<1024>::append(void const*x, int) 
0480806da W _ZN6BufferILiI1024EEC1EV # Buffer<1824>: :Buffer() 
和 
# 


oo4006c2a W _ZN6BufferILi256EES5clearEv Buffer<256>: :clear() 


O040066c W _ZN6BufferIL1I256EE6appendEPKV1 Buffer<256>: :append(void const*, int) 
O400654 W _ZN6BufferIlLi256EECTEY # Buffer<256>: :Buffert) 


这 样 看 来 真 的 造成 了 代码 脱 胀 ， 但 实际 情况 并 不 一 定 如 此 ， 如 果 我 
们 用 -02 编 译 一 下 ， 会 发现 编译 如 把 这 些 短 函数 都 inline 展开 了 。 
$ g++ -OO2 buffer .cc 
$ nm a.out |c++filt |grep Buffer 
# 没有 输出 ，Buffer 的 成员 国 数 都 被 inline 展开 了 ， 没 有 生成 图 数 定义 。 
如 果 我 们 想 限 制 模板 的 其 现 化 ， 比 方 说 限制 Buffer 只 能 有 64、256、 
1024、4096 这 几 个 长 度 ， 除 了 可 以 用 static_assert 来 制造 编译 期 错误 ， 还 
可 以 用 下 和 耐 这 个 只 声明 、 不 定义 的 办 法 来 制造 链接 错误 。 
一 般 的 C++ 教材 会 告诉 你 ， 模 板 的 定义 要 放 到 头 文 件 中 ， 人 否则 会 有 
re 如 采 恋 者 足够 细心 ， 会 及 现 其 实 所 谓 的 “编译 鲁 误 ?是 链接 铺 
误 。 例 如 


// main.cc 
template<typename T> 
void foo(const T&); 


template<typename T> 
T bar(const T&); 


Int main() 
{ 
foo(@). 
foo(1.0): 
bar('c' ); 
} 


$ g++ main.cc 


// 只 声明 而 没有 定义 


// 只 声明 而 没有 定义 


# 注意 十 链 接 怖 报 饮 ， 不 定编 译 天 报销 


/tmpycc55kd58.0: In function “main : 


main.cc:(.text+@x17): 
malin.cc:(.text+@x3]1): 
main.cc:(.text+@x4]1): 
collect2: 


undefined reference to 
undefined reference to 
undefined reference to 


“volid foo<int>(int const&) 
“void foo<double>(double const&)' 
“char bar<char>{(char const&) 


ld returned 1 exit status 


那么 有 办 法 把 模板 的 实现 放 到 库 里 ， 尖 文件 里 只 放声 明 吗 ?其 实 是 


可 以 的 ， 前 提 是 你 知 志 模板 会 有 哪些 上 其 现 化 类 型 ， 


式 ) 其 现 化 出 来 。 


$ g++ -=C main.cce 
$ nm main.o 


U zzZ3barIcET_RKSO_ 
U _Z3fooldEvRKT_ 
U _Z3fooIIEVRKT_ 


开 事 完 显 式 〈 或 隐 


# 可 以 单独 编译 为 目标 文件 

# 目标 文件 里 引用 了 未 定义 的 模板 函数 ， 

# 注意 这 次 函数 mangled name 包含 壕 回 类 型 

# char bar<char>(char const&) 

# void foo<double>(double const&) 
# void foo<int>(int const&) 


000000000000000 T main 


// foobar .cc 
template<typename T> 
void foo(const T&) 

l 

} 


template<typename T> 
T bar(tconst T& x) 


{ 
return x: 
上 
template void foo(const int&): # 显 式 县 现 化 
template void foo(const double&): # 如 果 汗 了 这 几 行 ， 仍然 会 有 链接 篆 误 。 


template char bar(const char&y) ; 


$ g++ -C foobar.cc 

$ nm foobar.o # foobar.o 包含 模 相 图 数 的 定义 
000000000000008 W _A23barlcET_RKSO_ 

0000000000080800 W _zZ3fooldEvRKT_ 

000000000000008 W _Z3fooliEVvRKT_ 


$ g++ main.o foobar.o # 可 以 成 功 生 成 a.out 


对 于 通用 《〈universal) 的 模板 库 ， 这 个 办 法 是 行 不 通 的 ， 因 为 你 不 
可 能 事先 知道 客户 会 用 哪些 参数 类 型 来 具 现 化 你 的 模板 《比方 说 
Vector<T> 和 shared_ptr<T> ) 。 但 是 对 于 菏 些 特殊 情况 ， 这 可 以 减少 代码 
脱 且 ， 比 方 说 把 Buffer<int> 的 构造 函数 从 头 文件 移 到 菏 个 源 文件 ， 并 且 
只 有 共 现 化 几 个 固定 的 长 度 ， 这 样 防止 客户 代码 任意 具 现 化 Buffer 模 板 。 

对 于 Private 成 员 函 数 模 板 ， 我 们 也 不 用 在 头 文件 中 给 出 定义 ， 因 为 
用 户 代码 不 能 调用 它 ， 也 融 无 法 随意 具 现 化 它 ， 所 以 不 会 造成 链接 钳 
误 。 考 外 下 面 这 个 多 功能 打印 机 的 例子 ，Printer 既 能 打印 ， 也 能 扫描 。 
PrintRequest 和 ScanRequest 部 是 由 代码 生成 妖 生 成 的 class， 它 们 有 有 一 些 
共同 的 成 员 ， 但 是 没有 共同 的 基 关 。 


Request.h 

class PrintRequest 
{ 
public: 

int getUserId() const { return userld_; } 

/:/: other members 
private: 

int userId_: 


}; 


class ScanRequest 
{ 
public: 

int getUserld() const { return userld_; } 

/:/ other members 
private: 

Int userld_. 
}; 

Request.h 


我 们 写 一 个 Printer class， 能 同时 处 理 这 两 种 请 求 ， 为 了 避免 代码 重 
复 ， 我 们 打算 用 一 个 函数 模板 来 解 林 request 的 公共 部 分 。 
Printer.h 
class PrintRequest: 
class ScanRequest: 


class Printer : boost::noncopyable // 注意 Printer 不 十 模板 
{ 

public: 

vold onRequest(const PrintRequest&): 

void onReguest(const ScanRequest&); 


private: 
template<typename REQ> 
vold decodeRequest(const REQ&).:. 


void processRegquest( ) ; 


int currentRequestUserId_: 
4; 
Printer.h 
这 个 decodeRequest 是 模板 ， 但 不 必 把 实现 暴露 在 头 文件 中 ， 因 为 只 
有 onRequest 会 调用 它 。 我 们 可 以 把 这 个 成 员 浮 数 模板 的 实现 放 到 源 文 
由 中 。 这 样 的 好 处 之 一 契 Printer 的 用 户 看 个 到 decodeRequest 泌 数 模板 的 
定义 ， 可 以 加 快 编译 速度 。 


Printer.ce 
#include "Printer.h”" 
#include "Request.h" 


template<typename REQ> 
vold Printer::decodeRequest(const REQ& req) 
{ 
currentRequestUserId_ = reqg.getUserIdO). 
i:/: decode other parts 
} 


// 现在 编译 器 能 看 到 decodeRequest 的 定义 ， 也 就 能 自动 具 现 化 它 
vold Printer: :onRequest(const PrintRequest& req) 


decodeRequest(req): 
processRequest(). 


J 
vold Printer::onRequyuest(const ScanRegquest& req) 


decodeRequestrreg) ; 
processRequestr(); 


J} 


Printer.cc 


前 面 展示 的 几 种 template 用 法 一 股 不 会 用 在 通用 的 模板 库 中 ， 因 此 
很 少 有 书籍 或 文章 谈 到 它们 。 在 编写 应 用 程序 的 时 候 适 当 使 用 模板 能 减 
少 重复 区 动 ， 降 低 出 钳 的 可 能 ， 值 得 了 解 一 下 。 

男 外 ，C++11 狐 增 了 externtemplate 特 性 ， 可 以 阻止 隐 式 模板 上 其 现 
化 。g++ 很 早 就 文 持 这 个 特性 ，g++ 的 C++ 标 准 库 束 使 用 了 这 个 办 法 ， 使 
得 使 用 std::string 和 std::iostream 的 代码 不 受 代码 膨胀 之 闸 。 


/i 105:.CC 
#include <iostream> 
#include <string> 


using namespace std: 


int main() // 用 到 了 iostream 和 string 两 个 大 模 概 
{ 

string mame; 

cin >> name: 


cout << "Hello, " << name << “Anm”; 

J} 
$ g++ ios.cc 
$ size a.out # 生成 的 可 执行 文件 很 小 

text data bss dec hex filename 

2900 648 584 4132 1624 a.out 
$ nm a.out |grep ‘ [TW] ， # 仔细 看 目标 文件 ， 并 没有 有 具 现 化 那些 巨大 的 类 模 酸 
四 自 站 站 四 OODBO4DBc20 T Libc_csu fini 
O00000000400c30 T __libc_csu_init 
000000000400cf8 T _fini 
O0000000004080958 T _init 
O000000000400a58 T _start 
O0000000600601288 W data_start 
OOO0000000400b34 T main 
$ nm a.out |grep -0 'U.*' # 而 是 引用 了 标准 库 中 的 实现 
U _ZNSsC1Ev@@GLIBCXX_3.4 ”# 这 两 个 是 string 的 构 3 迄 画 数 与 析 构 函数 


U ANSsD1IEv@@GL IBCAX_3.4 

U _ZNSt8ios_based4InitC1EVvGGcGLIBCXX _ 3.4 

U _ZzNSt8ios_base4InNitDIEv@@GLIBCXX_3.,4 

U _zstlsISt11char_traitsICcEERSt13basic_ostreamIcT_ES5_PKC # 这 三 个 是 输入 输出 操作 符 
U zsStlsIcSstilichar_traitslcESalcEERSt13basic _ostreamlT_T8_ESY_RKSbIS4. S5_T1_E 

U zstrsIcSstilichar_traitslcESalcEERSt13basic_istreamlT_T8_ESs7;_RSpIS4_$5_T1_E 


这 或 许 能 帮助 消除 一 定 的 模板 恐惧 吧 
10.3.4” 虚 函数 


在 现在 的 C++ 实现 中 ， 虐 函数 的 动态 调用 〈 动 态 绑 定 、 运 行 期 决 
议 ) 是 通过 虚 函 数 表 〈vtable) 进行 的 ， 每 个 多 态 class 都 应 该 有 一 份 
vtable。 和 定义 或 继承 了 虚 困 数 的 对 象 中 会 有 一 个 隐 侣 成 员 : 指 同 vtable 的 
指针 ， 即 vptr。 在 构造 和 析 构 对 象 的 时 候 ， 编 译 器 生成 的 代码 会 修改 这 
个 vptr 成 员 ， 这 就 要 用 到 vtable 的 定义 《使 用 其 地 址 ) 。 因 此 我 们 有 时 看 
A A 函数 的 定义 ， 而 是 找 不 到 虐 函 数 表 

定义 。 例 如 : 


/i virt.ec 
class Base 


public: 

Virtual ~Base(): 
virtual void doIlt(): 
}: 
int main() 


: Basex*x b = new Base: 
b->doIt(): 
J 


$ g++ virt.cc 
:tmp/cca07agKi.o0: In function ‘Base::Base()': 
virt.ccec:(.text._2ZN4BaseClEv[Base: :Base() Jj]+0xf): 
undefined reference to ‘vtable for Base 

collect2: ld returned 1 exit status 

出 现 这 种 错误 的 根本 原因 是 程序 中 有 茶 个 虚 函 数 没 有 定义 ， 知 道 了 这 
个 方 辐 ， 但 找 问 题 束 不 难 了 。 

另外 ， 按 道理 说 ， 一 个 多 态 class 的 vtable 应 该 恰好 被 某 一 个 目标 文 
件 定 义 ， 这 样 链 接 了 束 不 会 有 错 。 但 是 C++ 编译 器 有 时 无 法 判断 是 个 应 访 
在 当前 编 详 单元 生成 vtable 定 义 ， 为 了 保险 起 见 ， 只 能 每 个 编译 单元 都 
生成 vtable， 区 给 链接 需 去 消除 重复 数据 s。 有 时 我 们 不 希 户 vtable 导 致 
目标 文件 月 胀 ， 可 以 在 头 文 件 的 class 定 义 中 声明 out-line 虐 函数 旦 。 


10.4 工程 项 目 中 头 文 件 的 使 用 规则 


既然 短 时 间 内 C++ 还 无 法 摆 脐 头 文件 和 预 处 理 ， 因 此 我 们 要 深入 理 
解 可 能 存在 的 陷阱 。 在 实际 项 目 中 ， 有 必要 规范 头 文 件 和 预 处 理 的 用 
法 ， 如 免 它们 的 人 危害。 一 旦 为 了 使 用 菏 个 struct 或 者 未 个 库 函 效 而 包 合 
了 一 个 头 文件 ， 那 么 这 个 头 文件 中 定义 的 其 他 名 字 (struct、 函 数 、 
宏 ) 也 被 引入 当前 编 详 单元 ， 有 可 能 制造 麻烦 。 


10.4.1 ” 头 文 件 的 害处 
我 认为 头 文件 的 害处 主要 体现 在 以 下 几 方 面 : 


:传递 性 。 头 文件 可 以 再 包含 其 他 头 文件 。 前 面 已 经 举 过 例子 ， 一 
个 简单 的 丰 nclude <complex> 展 开 之 后 有 两 万 多 行 代 人 码 ， 一 方面 造成 编 
译 绥 慢 ， 另 一 方面 ， 任 何 一 个 头 文件 改动 一 点 点 代码 都 会 需要 重新 编译 
所 有 直接 或 间接 包含 它 的 源 文件 。 因 为 build tool 无 法 有 效 判 断 这 个 改动 
是 否 会 影响 程序 语义 ， 保 守 起 见 只 能 把 受 影响 的 源 文件 全 部 重新 编译 一 
表 。 因 此 ， 合 理 组织 源 代码 ， 减 少 开发 时 rebuild 的 成 本 是 每 个 稍 具 规模 
项 目的 必 做 功课 。 

:顺序 性 。 一 个 源 文 件 可 以 包含 多 个 头 文 件 。 如 条 头 文 件 内 容 组 织 
不 当 ， 会 造成 程序 的 语义 跟头 文件 包含 的 顺序 有 关 ， 也 跟 是 否 包含 某 一 
个 头 文 件 有 关 s。 通 党 的 做 法 是 把 头 文 件 分 为 几 类 2， 然 后 分 别 按 顺 友 包 
含 这 几 类 头 文件 s， 相 同类 的 头 文 件 按 文件 名 的 字母 排序 。 这 样 一 方面 
源 代码 比较 整洁 ， 男 一 方面 如 琳 两 个 人 同时 修改 源码 ， 各 自 想 多 包含 一 
个 头 文件 ， 那 么 造成 冲突 的 可 能 性 较 小 。 一 般 应 该 避免 每 次 在 ##include 
列表 的 末尾 添加 新 的 头 文件 ， 这 样 很 快 代码 的 依赖 关系 就 无 法 管理 了 。 

:差异 性 。 内 容 差 异 造成 不 同 源 文 件 看 到 的 头 文件 不 一 致 ， 时 间 乞 
异 造 成 头 文件 与 库 文件 内 容 不 一 致 。 例 如 8§12.7 提 到 不 同 的 编译 选项 会 
造成 Visual C++ std::string 的 大 小 不 一 样 。 也 束 是 说 <string> 尖 文件 的 内 
容 经 过 预 处 理 后 会 有 变化 ， 如 果 两 个 源 文 件 编译 时 的 宏 定 义 选 项 不 一 
致 ， 可 能 造成 二 进 制 代 码 不 兼容 。 这 说 明 整 个 程序 应 该 用 统一 的 编译 选 
项 。 如 果 程 序 用 到 了 第 三 方 静 态 库 或 者 动态 库 ， 除 了 拿 到 头 文件 和 库 
文件 ， 我 们 还 要 拿 到 当时 编译 这 个 库 的 编译 选项 ， 才 能 安全 无 误 地 使 用 
这 个 程序 库 。 如 果 程 序 用 到 了 两 个 库 ， 但 是 它们 的 编译 选项 有 冲突 ， 那 
麻烦 就 大 了 ， 后 面谈 库 文 件 组 织 的 时 候 再 来 说 这 个 问题 和 时 间 差 异 的 问 


题 。 


反观 现代 的 编程 语言 ， 它 们 比 C++ 的 历史 包容 轻 多 了 ， 模 块 化 做 得 
也 比较 好 。 模 块 化 的 做 法 主要 有 两 种 : 


:对 于 解释 型 语言 ，import 的 时 候 和 直接 把 对 应 模块 的 源 文件 解析 
(parse) 一 过 〈 不 再 是 徐 单 地 把 源 文 件 包 含 进 来 ) 。 
:对 于 编 详 型 语言 ， 编 详 出 来 的 目标 文件 〈 例 如 Java 的 .class 文 件 ) 
里 直接 包含 了 足够 的 元 数据 ，import 的 时 候 只 需要 读 目 标 文 件 的 内 容 ， 
不 需要 证 源 文 件 。 


这 两 种 做 法 都 避免 了 声明 与 定义 不 一 致 的 问题 ， 因 为 在 这 些 语言 里 
声明 与 定义 是 一 体 的 。 同 时 这 种 import 手 法 也 不 会 引入 不 想 要 的 名 字 ， 


大 大 人 简化 了 名 字 人 查找 的 负担 (无 论 是 人 脑 还 是 编译 器 ) ， 也 不 用 担心 
import 的 顺序 不 同 造 成 代码 功能 变化 。 


10.4.2” 头 文件 的 使 用 规则 


几乎 每 个 C++ 编程 规范 都 会 涉及 头 文件 的 组 织 。 归 纳 起 来 观 氮 如 


“将 文件 间 的 编译 依赖 降 至 最 小 。”" 39 

“将 定义 式 之 间 的 依赖 关系 降 至 最 小 。 避 人 免 循 环 依赖 。”e 和 

“i 上 class 名 字 、 头 文件 名 字 、 源 文件 名 字 和 直接 相关 。”* 这 样 方便 源 
代码 的 定位 。muduo 源 公有 加 和 人 循 这 一 原则 ， 例 如 TcpClient class 的 头 文 件 是 
TcpClient.h ， 其 成 员 函 数 定 义 在 TcpClient'cc 。 

“人 令 头 文 件 目 给 目 足 。”s 5 例如 要 使 用 muduo 的 TcpServer， 可 以 
直接 包含 TcpServerh 。 为 了 验证 TcpServerh 的 自足 性 〈self-contained) ， 
TcpServer.cc 第 一 个 包含 的 头 文 件 束 是 它 。 

“总 是 在 头 文件 内 写 内 部 ##include guard( 护 套 ) ， 不 要 在 源 文件 写 
外 部 护 僚 。”cs 9 这 是 因为 现在 的 预 处 理 对 这 种 通用 做 法 有 特别 的 优 
化 ，GNU cpp 在 第 二 次 类 nclude 同 一 个 头 文件 时 甚至 不 会 去 旋 这 个 文 
件 ， 而 是 直接 跳 过 2。 

#include guard 用 的 宏 的 名 字 应 该 包含 文件 的 路 径 全 名 (从 版 本 管 
ee ， 必 要 的 话 还 要 加 上 项 目 名 称 〈( 如 果 每 个 项 目 有 自己 的 代 

己 仓 库 ) 2。 

:如 末 编 与 程序 库 ， 那 么 公开 的 头 文 件 应 该 表达 模块 的 接口 3?， 必 要 
册 时 候 可 以 把 实现 细节 放 到 内 部 头 文件 中 。muduo 的 头 文件 满足 这 条 规 
只。 


这 循 以 上 规则 ， 作 为 应 用 程序 的 作者 ， 一 般 残 不 会 过 到 跟头 文件 和 
预 处 理 相 关 的 说 异 问 题 。 这 里 介绍 一 个 得 找 头 文件 包含 途径 的 小 扩 巧 。 
比方 说 有 一 个 程序 只 包含 了 <iostream>， 但 是 却 能 使 用 std::string， 我 想 
知道 <string> 是 如 何 被 引入 的 。 办 法 是 在 当前 目录 创建 一 个 string 文 件 ， 
然后 制造 编译 钳 误 ， 步 又 如 下 : 


AAA hello.cee 
#include <iostream> 


int main(C) 


std::string s = "muduo"; // 奇怪 ， 明 明 没 有 包含 <string> 却 能 使 用 std: :string 
J} 
$ cat > string // 创建 一 个 只 有 一 行内 容 的 string 文件 
terror error 
DD 
$ g++ -M -I . hello.cc // 用 g++ 帮 我 们 查 出 包 舍 于 径 ， 犀 来 是 locale_classes.h 于 的 
In file included from /usr/include/c++/4.4/bits/]locale_classes.h:42, 
from /usr/include/c++/4.4/bits/ios_base.h:43, 
from /usr/include/ctt+/4.4/ios:43, 
from /usr/include/c+t+/4.4/0stream: 48, 
from /usr/include/ct+t+/4.4/iostream: 40, 
from hello.cc:1: 
/string:1:2: error: #error error 


下 面 我 们 谈 谈 在 编写 和 使 用 库 的 时 候 应 该 注意 些 什么 。 
10.5 ”工程 项 目 中 库 文件 的 组 织 原 则 


考 谍 一 个 稍 有 具 规 模 的 公司 ， 有 一 个 基础 库 团 队 ， 开 发 并 维护 公司 的 
公共 C++ 网 络 库 net; 还 有 一 个 团队 开发 了 一 套 消 居中 辐 件 ， 并 提供 了 一 
个 客户 问 库 hub，hub 是 基于 net 构 建 的 ， 最 近 公 司 义 有 男 外 一 个 团队 开 
发 了 一 僚 存 储 系 统 ， 并 提供 了 一 个 客户 病 库 cab，cab 也 是 基于 net 构 建 
的 。 公 司 内 部 开 友 的 服务 病程 序 可 能 会 用 到 这 些 库 的 一 个 或 几 个 ， 本 节 
主要 讨论 如 何 组 织 这 些 由 不 同 团队 开发 的 库 与 应 用 程序 。 

在 谈 具 体 的 C++ 库 文 件 的 组 织 之 前 ， 先 谈 一 谈 更 基本 的 话题 : 依赖 


假设 你 负责 实现 并 维护 一 个 关键 的 网 络 服务 程序 app， 经 过 充分 测 
试 之 后 ，app 1.0 上 线 运 行 ， 一 切 顺 利 。app 1.0 用 到 了 网 络 库 (net 1.0) 
和 消息 中 间 件 的 客户 端 库 (hub 1.0) ， 并 且 hub 1.0 本 身 也 用 到 了 net 
1.0， 依 赖 天 系 如 图 10-3 所 示 。 


net 1.0 | 





尽管 在 发 布 之 前 QA 人 员 sign-off 的 是 app 1.0， 但 是 我 们 应 该 认为 他 
们 sign-off 时 是 app 1.0 和 和 它 依 赖 的 所有 库 构 成 的 bundle。 因 为 app 的 行为 
跟 它 用 到 的 库 有 关 ， 如 果 改 变 其 中 任何 的 一 个 库 ，app 的 行为 都 可 能 发 
生变 化 〈 斥 官 app 的 源码 和 可 执行 文件 一 个 字 节 都 没 动 )， 也 就 可 能 跟 
当时 充分 冲 试 通过 的 “app 1.02 行 为 不 一 致 。 

周 伟 明 老师 在 《软件 测试 实践 》 的 第 1.7.2 节 “COM 的 可 测试 性 分 
析 ” 中 明确 表示 ，COM“ 违 反 了 软件 设计 的 基本 原理 *”， 其 理由 是 : 


我 们 假设 一 个 软件 包含 mn 个 不 同 的 COM 组 件 ， 按 照 COM 的 设计 思 
想 ， 每 个 组 件 都 是 可 以 蔡 换 的 。 假 设 每 个 组 件 都 有 若干 个 不 同 的 版 本 ， 
记 为 分 别 有 Mi ，M; ，.…，M 个 不 同 的 版 本 ， 那 么 组 成 整个 软件 的 所 
有 组 件 的 组 合 关系 有 Mi xM, x...xM， 种 ， 等 于 这 个 软件 共有 T]” ， 
种 二 进 制版 本 。 如 果 要 将 测试 做 得 充分 ， 这 些 组 合 全 部 都 需要 进行 测 
试 ， 否 则 很 难保 证 没 测 试 到 的 组 合 不 会 有 问题 。 


这 至 少 从 理论 上 说 明 ， 改 动 程序 本 吴 或 它 依赖 的 库 之 后 应 该 重新 测 
试 ， 否 则 测试 通过 的 版 本 和 实际 运行 的 版 本 根本 束 是 两 个 东西 。 一 旦 出 
了 问题 ， 贡 任 束 难 理 清 了 。 

这 个 问题 对 于 C++ 之 外 的 语言 也 同样 存在 ， 我 认为 凡是 可 以 在 编 详 
之 后 蔡 换 库 的 语言 都 需要 考 夸 类 似 的 问题 >。 对 于 脚本 语言 来 说 ， 除 了 
库 之 外 ， 解 释 器 的 版 本 (Python2.5/2.6/2.7) 也 会 影响 程序 的 行为 ， 因 此 
有 Pythonvirtualenv 和 Rubyrbenv 这 样 的 工具 ， 人 允许 一 台 机 器 同时 安装 多 
个 解释 占 版 本 。Java 程 序 的 行为 除了 跟 class path 里 的 那些 jar 文 件 有 关 ， 
也 跟 JVM 的 版 本 有 天， 通 第 我 们 不 能 在 疫 有 殉 分 测 话 的 情况 下 升级 JVM 
的 大 版 本 〈 从 1.5 到 1.6) 。 

除了 库 和 运行 环境 ， 还 有 一 种 依赖 是 对 外 部 进程 的 依赖 ， 例 如 app 
程序 依赖 菜 些 数据 源 〈( 运 行 在 别 的 机 右上 的 进程 》”， 会 在 运行 的 时 候 通 
过 某 种 网 络 协 议 从 这 些 数 据 源 定期 或 不 定期 读 取 数据 。 数 据 源 可 能 会 升 
级 ， 其 行为 也 可 能 变化 ， 如 何 定 理 这 种 依赖 束 超 出 本 市 的 范围 了 。 

加 到 C++， 首 先 谈 编 详 右 版 本 之 加 的 兼容 性 。 截 储 g++ 4.4, Linux 
目前 已 有 四 个 互 不 兼容 的 ABI* 版 本 ， 编 译 出 来 的 库 互 不 通用 : 


gcc 3.0 之 前 的 版 本 ， 例 如 2.95.3 
gCC 3.0/3.1” 

gCC 3.2/3.37 

gCC 3.4~4.42 


信 CD 放 请 


实 影 啊 不 大 ， 因 为 估计 没有 人 谁 还 在 用 g++ 3.x 来 编译 

另外 一 个 需要 考虑 的 是 C++ 标准 库 〈libstdc++) 的 版 本 与 C 标 准 库 
(Cglibc) 的 版 本 。C++ 标 准 库 的 版 本 跟 C++ 编 译 右 直接 关联 *， 我 想 一 般 
不 会 有 人 去 从 换 系 统 的 libstdc++。C 标 准 库 的 版 本 跟 Linux 操 作 系 统 的 版 
本 直接 相关 ， 见 表 10-1。 一 般 也 不 会 有 人 单独 升级 glibc， 因 为 这 基本 上 
意味 独 需 要 重新 编译 用 户 态 的 所 有 代码 。 画 外 ， 为 了 稳 葡 起见 ， 通 部 建 
议 用 Linux 发 行 版 目 市 的 那个 gcc 版 本 来 编译 你 的 代码 。 因 为 这 个 版 本 的 
gcc 丰 Linux 久 行 版 主要 文 村 的 编译 器 版 本 ， 当 前 kernel 和 用 户 态 的 其 他 
程序 也 基本 是 它 编 详 的 ， 如 果 它 有 什么 问题 的 话 ， 早 束 梓 人 及 现 了 。 

根据 以 上 分 机 ， 一 旦 选 定 了 生产 环境 中 操作 系统 的 版 本 ， 另 外 三 样 
东西 的 版 本 就 确定 了 。 我 们 暂且 认为 生产 环境 中 运行 app 1.0 的 机 占 的 
Linux 操 作 系 统 版 本 、libstdc++ 版 本 、glibc 版 本 是 统一 的 x*， 而 且 C++ 应 
用 程序 血 的 代码 都 是 用 操作 系统 原生 的 g++ 来 编译 的 。 表 10-1 列 出 了 
几 大 主流 Linux 发 行 版 的 版 本 配置 。 


表 10-1 
Distro Kernel gcc glibc 
RHEL6 2.632 446 212 

RHEL 5 2.6.18 4.1.2 2.5 
RHEL 4 2.0.9 3.4.6 2.3.4 
Debian 6.0 2.6.32 4.4.5 2.11.2 
Debian 5.0 2.626 43.2 2.7 
Debian 4.0 2.6.18 4.1.1 2.3.6 


Ubuntu 10.04 LIS 2.6.32 4.4.3 2.11.]l 
Ubuntu 8.04 Lls 2.6.24 4.2.3 2.7 
Ubuntu 6.04 LIS 2.6.15 4.0.3 2.3.6 


这 样 一 来 ， 我 们 就 可 以 在 C++ 编译 器 版 本 、C++ 标 准 库 版 本 、C 标 
准 库 厂 本 均 固 定 的 情况 下 来 讨论 应 用 程序 与 库 的 组 织 &。 进 一 步 说 ， 这 
里 讨论 的 是 公司 内 部 实现 的 库 ， 而 不 是 操作 系统 自 带 的 编 许 好 的 订 
(libz、1libssl、libcurl 等 等 ) 。 后 面 这 些 库 可 以 通过 操作 系统 的 package 
管理 机 制 来 统一 部 普 ， 确 傈 每 台 机 需 的 环境 相同 。 


Linux 的 共享 库 (shared library) 比 Windows 的 动态 链接 库 在 C++ 编 
程 方面 要 好 用 得 多 ， 对 应 用 程序 来 说 基本 可 算是 透明 的 ， 跟 使 用 静态 库 
无 区 别 。 主 要 体现 在 : 


一致 的 内 存 赎 理 。Linux 动 态 库 与 应 用 程序 共 孚 同一 个 heap， 因 此 
动态 库 分 配 的 内 存 可 以 交 给 应 用 程序 去 释放 2 ， 反 之 亦 可 。 

一致 的 初始 化 。 动 态 库 里 的 静态 对 象 〈 全 局 对 象 、namespace 级 的 
本 Re 的 初始 化 和 程序 其 他 地 方 的 静态 对 象 一 样 ， 不 用 特别 区 分 对 

人 着 。 

:在 动态 库 的 接口 中 可 以 放心 地 使 用 class、STL、boost《〈 如 采 版 本 
相同 ) 。 
“没有 dllimport/dllexport 的 索 得 。 和 直接 include 汰 文件 就 能 使 用 。 

DLL Hellse 的 问题 也 小 得 多 ， 因 为 Linux 人 允许 多 个 版 本 的 动态 库 并 
人 存 ， 而 且 每 个 人 符号 可 以 有 多 个 版 本 =。 


DLL hell 指 的 定安 妆 新 的 软件 的 时 候 更 新 了 示 个 公用 的 DLL， 破 坏 


了 其 他 已 有 软件 的 功能 。 例 如 安装 xyz 1.0 会 把 net 库 升级 为 1.1 版 ， 才 新 
了 原来 app 1.0 和 hub 1.0 依 赖 的 net 1.0， 这 有 潜在 的 风险 〈 图 10-4) 。 





图 10-4 


现在 Windows 7 里 有 side-by-side assembly， 基 本 解决 了 DLL hell 问 
如 ， 代 价 是 系统 里 有 一 个 巳 大 的 且 不 断 增 长 的 WinSxS 目 录 。 

一 个 C++ 库 的 发 布 方式 有 三 种 : 动态 库 〈(.so) 、 静 态 库 (.a) 、 源 
人 码 库 (.cc) 帮 。 表 10-2 人 简单 总 结 了 一 些 基 本 特性 。 


表 10-2 


动 芒 库 静态 库 意 码 库 


库 的 发 布 方 式 。” 头 文件 + .so 文件 头 文 件 + .a 文 件 江 文 件 + .cc 文件 
程 厅 编 说 时 间 ” 短 二 长 

查询 依赖 ldd 查询 编译 期 信息 编译 期 信息 

部 著 可 执行 文件 + 动态 库 ”单一 可 执行 文件 单一 可 执行 文件 
主要 时 间 差 编译 时 全 运行 时 编译 库 侯 编译 应 用 程序 ”无 


本 市 谈 动 态 库 只 包括 编译 时 就 链接 动态 库 的 那 种 帅 规 用 法 ， 不 包括 
运行 期 动态 加 载 (dlopen0 ) 的 用 法 。 

作为 应 用 程序 的 作者 ， 如 果 要 在 多 台 Linux 机 右上 运行 这 个 程序 ， 
我 们 先 要 把 它 部 着 (deploy)〉 到 那些 机 右上 二 。 如 果 程 序 只 依赖 操作 系 
统 本 身 提 供 的 库 〈 包 括 可 以 通过 package 管 理 软件 安装 的 第 三 方 库 ) ， 
那么 只 要 把 可 执行 文件 找 风 到 目标 机 右上 就 能 运行 。 这 是 前 态 库 和 源码 
库 在 分 布 式 环境 下 有 的 突出 优点 之 一 。 

相反 ， 如 果 依 赖 公司 内 部 实现 的 动态 亩 ， 这 些 库 必须 事先 (或 者 同 
时 ) 部 绪 到 这 些 机 右上 ， 应 用 程序 才能 正常 运行 。 这 立刻 束 会 面临 运 维 
方面 的 挑战 ， 部 著 动 态 库 的 工作 由 谁 〈( 库 的 作者 还 是 应 用 程序 的 作者 ) 
来 做 呢 ? 另外 一 个 相关 的 问题 是 ， 如 有 果 动 态 库 的 作者 修正 了 bug， 他 可 
以 目 主 更 新 所 有 机 器 上 的 库 吗 ? 

我 们 暂且 认为 库 的 作者 可 以 独立 地 部 普 并 更 新 动态 库 ， 并 且 影 啊 到 
使 用 这 个 库 的 应 用 程序 2。 人 否则 的 话 ， 如 果 每 个 程序 都 把 目 己 用 到 的 动 
态 库 和 应 用 程序 一 起 打包 有 发布， 库 的 作者 不 负责 库 的 更 新 ， 那 么 这 和 使 
用 齐 态 库 束 没有 区 别 了 ， 还 不 如 和 直接 六 态 链 接 。 

无 论 哪 种 方式 ， 我 们 都 必须 保证 应 用 程序 之 间 的 独立 性 ， 也 就 是 让 
动态 库 的 多 个 大 版 本 能 够 并 存 。 例 如 部 著 app 1.0 和 xyz 1.0 之 后 的 依赖 关 
系 如 图 10-5 所 示 。 





net 1 .1 


app 1.0 


图 10-5 


按照 传统 的 观点 ， 动 态 库 比 静 态 库 节省 磁盘 空间 和 闪存 空间 2 ， 并 
且 有 具备 动态 更 新 的 能 力 〈 可 以 hot fix bug”" ) ， 似 乎 动态 库 应 该 是 目前 的 
自选 *。 但 十 正 是 这 种 动态 更 新 ?的 能 力 让 动态 库 成 了 次 手 的 山子 。 


10.5.1 ”动态 库 是 有 害 的 
Jeffrey Richter 对 动态 库 的 本 质问 题 有 精辟 的 论述 2: 


一 旦 丛 换 了 霖 个 应 用 程序 用 到 的 动态 库 ， 爷 前 运行 正 利 的 这 个 程序 
使 用 的 将 不 再 是 当初 build 和 测试 时 的 代码 。 结 末 是 程序 的 行为 变 得 不 可 
预期 。 

怎样 在 fix bug 和 增加 feature 的 同时 ， 还 能 保证 不 会 损坏 现 有 的 应 用 
程序 ? 我 〈Jeffrey Richter) 曾经 对 这 个 问题 思考 了 很 信 ， 并 且 得 出 了 一 
个 结论 一 一 那 束 是 这 是 不 可 能 的 。 


作为 库 的 作者 ， 你 肯定 个 布 望 更 新 部 普 一 个 看 似 有 益 无 害 的 bug fix 
之 后 ， 星 期 一 早上 彼 应 用 程序 的 维护 者 的 电话 吵 醒 ， 说 程序 不 能 局 动 
(新 的 库 破 坏 了 二 进 制 兼容 性 ) 或 者 出 现 了 不 符合 预期 的 行为 。 

作为 应 用 程序 的 作者 ， 你 也 肯定 不 希望 星期 一 一 大 早 梓 运 维 的 同事 
吵 醒 ， 说 你 负 贡 的 东 个 服务 进程 无 法 局 动 或 者 行为 异 帅 。 经 排 符 ， 及 现 
只 有 茶 一 个 动态 库 的 版 本 与 上 星期 不 同 。 你 该 朝 谁 及 火 呢 ? 

既然 双方 都 不 想 过 这 种 提心吊胆 的 日 子 ， 那 为 什么 还 要 用 动态 库 
呢 ? 

那么 有 没有 可 能 在 发 布 动态 库 的 bug fix 之 前 充分 测试 所 有 受 影响 的 


应 用 程序 呢 ?” 这 会 过 到 一 个 两 难 命 题 ， 一 个 动态 库 的 使 用 面 罕 ， 只 有 两 
三 个 程序 用 到 它 ， 测 试 的 成 本 较 低 ， 那 么 它 作 为 动态 库 的 优势 整 不 明 
显 。 相 反 ， 一 个 动态 库 的 使 用 面 宽 ， 有 几 十 个 程序 用 到 它 ， 动 态 库 
的 “优势 ”明显 ， 测 斌 和 更 新 的 成 本 也 相应 很 高 (或 许 高 到 足以 抵消 它 
的 “优势 >) 。 有 一 种 做 法 是 把 动态 库 的 更 新 先 发 布 到 QA 环境 ， 正 常 运 
行 一 段 时 间 之 后 再 发 布 到 生产 环境 ， 这 么 做 也 有 另外 的 问题 : 你 在 测试 
下 一 版 app 1.1 的 时 候 ， 访 用 QA 环 境 的 动态 库 厂 本 还 是 用 生产 环境 的 动 
pe 如 果 程 序 在 编译 测试 之 后 行为 还 会 改变 ， 这 是 不 是 在 让 QA 
完 罗 7 

总 之 ， 一 且 动 态 库 可 能 频 索 更 新 上 ， 我 没有 发 现 一 个 完美 的 使 用 动 
态 库 的 办 法 。 在 诀 定 使 用 动态 库 之 前 ， 我 建议 至 少 要 熟悉 它 的 各 种 陷 
阱 。 参 考 资 料 如 下 : 


http://harmtul.cat-v.org/software/dynamic-linking/ 

《A Quick Tour of Compiling, Linking, Loading, and Handling 
Libraries on Unix》 ( 
http://ref.web.cern.ch/ref/CERN/CNL/2001/003/shared-lib/Pr/ ) 

. 《How to write shared libraries》 ( 
http://www.akkadia.org/drepper/dsohowto.pdf ) 。 

《Good Practices in Library Design, Implementation, and 
Maintenance» (http://www.akkadla.org/drepper/goodpractice.pdf ) 。 

‘ 《Solaris Linker and Libraries Guide》 ( 
http://docs.oracle.com/cd/E19963-01/html/819-0690/ ) 。 

. 《Shared Libraries in SunOS》 ( 
http://www.cs.cornell.edu/courses/cs414/2004fa/sharedlib.pdf )》 。 


10.5.2 ”静态 库 也 好 不 到 哪儿 去 


静态 库 相 比 动态 库 主要 有 几 点 好 处 ( 
http://en.wikipedla.org/WiIkI/Static library ) : 


:依赖 管理 在 编 详 期 决定 ， 不 用 担心 日 后 它 用 的 库 会 变 。 同 理 ， 调 
试 core dump 不 会 过 到 库 更 新 导致 4ebug 人 符号 失效 的 情况 。 
和 快 ， 因 为 没有 PLT 《过程 得 找 表 ) ， 也 数 调用 的 开 
销 更 小 。 

发布 方便 ， 只 要 把 单个 可 执行 文件 找 见 到 模板 机 妖 上 。 


前 态 库 的 一 个 小 缺点 是 链接 比 动态 库 慢 ， 有 的 公司 其 至 专门 开发 了 
针对 大 型 C++ 程 序 的 链接 硕 。 

静态 库 的 作者 把 源 文 件 编译 成 .a 库 文件 ， 连 同 头 文件 一 起 打包 发 
布 。 应 用 程序 的 作者 用 库 的 头 文 件 编译 目 己 的 代码 ， 并 链接 到 .a 库 文 
件 ， 得 到 可 执行 文件 。 这 里 有 一 个 编译 的 时 间 状 : 编译 库 文件 比 编译 可 
这 就 可 能 造成 编译 应 用 程序 时 看 到 的 头 文 件 与 编译 静态 

时 不 一 样 。 

比方 说 编译 net 1.1 时 用 的 是 boost 1.34， 但 是 编译 xyz 这 个 应 用 程序 
的 时 候 用 的 是 boost 1.40， 见 图 10-6。 这 种 不 一 致 有 可 能 导致 编译 错误 ， 
或 者 更 糟 糙 地 导致 不 可 预期 的 运行 销 误 。 比 方 说 net 库 以 boost::function 
提供 回调 ， 但 是 boost 1.36 去 挥 了 一 个 模板 类 型 参数 *， 造 成 xyz 1.0 用 
boost 1.40 有 的 话 束 与 net 1.1 不 兼容 。 





/ boost 1.40 : boost 1.34 





图 10-6 
这 说 明 应 用 程序 在 使 用 静态 库 的 时 候 必须 要 采用 完全 相同 的 开发 环 
境 《〈 更 底层 的 库 、 编 详 需 版 本 、 编 详 大 选项) 。 但 是 万 一 两 个 静态 库 的 
依 顿 有 神 突 怎么 办 ? 
静态 库 把 库 之 轩 的 厂 本 依赖 完全 放 到 编 详 期 ， 这 比 动 态 库 要 省 心得 
多 ， 但 是 仍然 不 是 一 件 容 易 的 事情 。 下 面 略 举 几 种 可 能 册 到 的 情况 : 


:迫使 升级 高 版 本 。 假 设 一 开始 应 用 程序 app 1.0 依 赖 net 1.0 和 hub 
1.0， 一切 正常 ， 如 图 10-7( 左 图 ) 所 示 。 在 开发 app 1.1 的 时 候 ， 我 们 要 
用 到 net 1.1 的 功能 。 但 是 hub 1.0 仍 然 依 赖 net 1.0，hub 库 的 作者 暂时 没有 
升级 到 net 1.1 的 打算 。 如 果 不 小 心 的 话 ， 就 会 造成 hub 1.0 链 接 到 net 
1.1， 如 图 10-7( 右 图 ) 所 示 。 这 束 跟 编译 hub 1.0 的 环境 不 同 了 ，hub 1.0 


的 行为 不 再 是 经 过 充分 测试 的 。 


hub 1.0 










app 1.0 
图 10-7 


:重复 链接 。 如 果 Makefile 编 写 不 当 ， 有 可 能 出 现 hub 1.0 继 续 链 接 到 
net 1.0， 而 应 用 程序 则 链接 到 net 1.1 的 情况 ， 如 图 10-8 ( 左 图 ) 所 示 。 
这 时 如 果 net 库 里 有 internal linkage 的 静态 和 变量， 可 能 造成 奇怪 的 行为 ， 
因为 同一 个 变量 现在 有 了 两 个 实体 ， 违 上 背 『 了 ODR。 一 个 具体 的 例子 见 云 


风 的 博客 >。 





和 





图 10-8 


:版 本 冲突 。 比 方 说 app 升 级 到 1.2 版 ， 想 加 入 一 个 库 cab 1.0， 但 是 
cab 1.0 依 赖 net 1.2， 如 图 10-8( 右 图 ) 所 示 。 这 时 我 们 的 问题 是 ， 如 果 
用 net 1.1， 则 不 满足 cab 1.0 的 需求 ， 如 果 用 net 1.2， 则 不 满足 hub 1.1 的 


需求 。 那 该 怎么 办 ? 


可 见 静 态 库 的 厂 本 管理 并 不 如 想象 中 那么 简单 。 如 条 一 个 应 用 程序 
用 到 了 三 四 个 公司 内 部 的 毅 态 库 《〈 见 图 10-9) ， 那 么 协调 库 之 间 的 版 本 
要 从 一 番 脑 筋 ， 单 独 升 级 任何 一 个 库 都 可 能 破坏 它 原 本 的 依赖 。 


hub 1.] 





图 10-9 


静态 库 的 演化 也 比较 费事 。 到 目前 为 止 我 们 认为 公司 没有 历史 包 
只 ， 上 所 有 的 机 需 都 是 2009 年 前 后 买 的 ， 运 行 的 是 Ubuntu 8.04 LTS， 软 件 
版 本 是 g++ 4.2、glibc 2.7、boost 1.34 等 等 ，C++ 程 序 和 库 也 都 是 在 这 个 
统一 的 环境 下 开发 的 。 现 在 到 了 2012 年 ， 线 上 服务 器 已 服役 满 3 年 ， 进 
入 换代 周期 。 新 购买 的 机 噩 打算 升级 到 Ubuntu 10.04LTS， 因 为 新 内 核 
的 驱动 程序 对 新 硬件 支持 更 好 ， 而 且 8.04 版 还 有 一 年 多 就 停止 支持 了 。 
这 样 同时 升级 了 内 核 、gcc 4.4、glibc 2.11、boost 1.40。 

这 就 要 求 静 态 库 的 作者 得 为 新 系统 重新 编译 并 发 布 新 的 库 文件 。 为 
了 避免 混 淆 ， 我 们 不 得 不 为 库 加 上 后 级 名， 以 标明 环境 和 依赖 。 假 设 卓 
前 有 net 1.0、net 1.1、net 1.2、hub 1.0、hub 1.1、cab 1.0 等 现役 的 库 ， 屠 
么 需要 发 布 多 个 版 本 的 静态 库 : 


‘net1.0_boost1.34_gcc42 
‘net1.0_boost1.40_gcc44 
Det1.1_boost1.34_gcc42 
Det1.1_boost1.40_gcc44 


‘net1.2_boost1.34_gcc42 

‘net1.2_boost1.40_gcc44 

“hub1.0_net1.0_boost1.34_gcc42 
‘hub1.0_net1.0_boost1.40_gcc44 
hub1.1_net1.1_pboost1.34_gcc42 
hub1.1_net1.1_pboost1.40_gcc44 
“Cab1.0_net1.2_boost1.34_gcc42 
“Cab1.0_net1.2_boost1.40_gcc44 


这 种 组 合 爆炸 式 的 增长 让 人 捕手 不 及 ， 因 为 任何 一 个 底层 库 新 增 一 
个 变 体 〈variant) ， 所 有 依赖 它 的 高 层 库 都 要 为 之 编译 一 个 版 本 。 

如 果 这 些 库 打算 支持 C++11， 那 么 上 面 这 个 列表 还 会 长 50%， 因 为 
g++ 为 Ct+11 修 改 了 ABI， 即 使 用 --std=c++0x 参 数 编译 出 来 的 库 文件 不 能 
与 旧 的 C++ 库 混 用 。 

要 想 摆脱 这 个 困境 ， 我 目前 能 想到 的 办 法 是 使 用 源码 库 ， 即 每 个 应 
用 程序 都 从 头 编译 所 需 的 库 ， 把 时 间 差 减 到 最 小 。 


10.5.3 ”源码 编译 是 王道 


每 个 应 用 程序 目 己 选择 要 用 到 的 库 ， 并 目 行 编 详 为 早 个 可 执行 文 
件 。 彻 搬 避 人 免 头 文件 与 库 文 件 之 间 的 时 间 堪 ， 确 保 整 个 项 目的 源 文 件 采 
用 相同 的 编译 选项 ， 也 不 用 为 库 的 版 本 搭配 操心 。 这 么 做 的 缺点 是 编 详 
时 间 很 长 ， 因 为 把 各 个 库 的 编译 任务 从 库 文 件 的 作者 转 尹 到 了 每 个 应 用 
程序 的 作者 。 

另外 ， 最 好 能 和 源 人 得 版 本 工具 配合 ， 让 应 用 程序 只 需 指 定 用 哪个 
库 ，build 工 具 能 自动 帮 有 我 们 check out 库 的 源码 。 这 样 库 的 作者 只 需要 维 
护 少 数 几 个 branch， 有 发布 库 的 时 候 不 需要 把 头 文 件 和 库 文 件 打包 供 人 下 
载 ， 只 要 push 到 特定 的 branch 就 行 。 而 且 这 个 build 工 具 最 好 还 能 解析 库 
的 Makefile 〈 或 等 价 的 build script) ， 目 动 帮 我 们 解决 库 的 传递 性 依赖 曙 
， 就 像 Apache Ivy 能 做 的 那样 。 

在 目前 看 到 的 开源 build 工 上 共 里 ， 最 接近 这 一 点 的 是 Chromium 的 gyp 
和 腾讯 的 typhoon-blade， 其 他 如 SCons、CMake、Premake、Waf 等 等 
工具 仍然 是 以 库 的 思路 来 搭建 项 目 。 
儿 疆 


AAAS 一 口 ] 


由 于 C++ 的 头 文 件 与 源 文 件 分 离 ， 并 且 目 标 文 件 里 没有 足够 的 元 数 


据 供 编 详 磊 使 用 ， 因 此 必须 同时 提供 库 文 件 和 头 文 件 。 也 束 是 说 要 息 使 
用 一 个 已 经 编译 好 的 C/C++ 库 ( 无 论 是 静态 库 还 是 动态 库 ) ， 我 们 需要 
两 样 东 西 ， 一 是 头 文 件 〈.h) ， 二 是 库 文 件 〈.a 或 .so0) ， 这 就 存 在 了 这 
两 样 东 西 不 还 配 的 可 能 。 这 是 造 束 C++ 人 简陋 脆弱 的 模块 机 制 的 根本 原 
因 。C++ 库 之 间 的 依赖 管理 远 比 其 他 现代 语言 复杂 ， 在 编写 程序 库 和 应 
用 程序 时 ， 要 熟悉 各 种 机 制 的 优 缺 点 ， 采 用 开发 及 维护 成 本 较 低 的 方式 
来 组 织 和 发 布 库 。 


注 科 

1 本 市 谈 有 的 C 语 言 和 C++ 语 言 指 的 是 现代 的 常见 的 实现 (没有 特别 指明 时 ， 可 认为 是 Linux 
X86-64 的 GCC) ， 并 不 限于 C 标 准 或 C++ 标准 ， 因 为 标准 里 根本 就 没有 提 到 “程序 库 
(library)“” 这 个 概念 。 男 外 本 节 所 提 的 C 语 言 库 函 数 不 仅 包括 C 标 准 中 的 函数 ， 也 包括 POSIX 里 
的 党 用 函数 ， 因 为 在 Linux 下 二 者 是 不 分 家 有 的， 都 位 于 libc.so。 

2 http://en.wikipedia.org/Wwiki/One Definition Rule 

3 从 兼容 语法 的 角度 ，Java 和 CH# 孝 可 以 算是 “与 C 兼 容 ?， 例 如 它们 的 for 循 环 与 出 来 都 是 : 
for (int i=0; 1 入 100; ++i) { /* do something */ } 

4 ”本 市 不 区 分 系统 调用 与 用 户 态 库 函 数 ， 统 称 为 “系统 函数 ”。 

5 ”前 面 扣 到， 现代 编译 占 通 党 把 预 处 理 和 代码 转换 合并 起 来 ， 从 而 让 编译 颖 获得 更 多 的 
信息 ， 调 试 信息 也 更 丰富 。 现 在 的 编译 右 能 获知 包括 宏 弟 量 的 名 字 、 宏 函数 等 传统 上 编译 右 看 
不 到 的 内 容 ， 有 的 开发 环境 甚至 能 日 步 跟 踪 宏 函数 。 

6 《C+t+ 语 言 的 设计 和 演化 》 的 第 18 章 “C 语 言 预 处 理 器 ”一 一 Cpp 必 须 被 推 吸 。 

2 C++ 复 杂 的 作用 域 机 制 也 大 大 增加 了 函数 重 载 决议 的 难度 ， 基 本 上 只 有 C++ 编 译 颖 才 弄 
和 寻 消 楚 
Chttp://en.wikipedia.org/Wwiki/C%2B%2B#Parsing and processing C.2B.2B source code ) 。 

"Even I knew how to design a prettier language than C++."—Bjarne Stroustrup 

9 ”主要 参考 http://minnie.tuhs.org/cgi-bin/utree.pl 和 Dennis M. Ritchie 写 的 《The Evolution of 
the Unix Timesharing System»》 — 文 (http://cm.bell-labs.com/cm/cs/who/dmr/hist.pdf ) 。 

10 ”Unix 的 历史 一 般 从 1970 年 算 起 (Unix Epoch 是 1970-01-01 00:00:00 UTC) ， 因 此 这 个 
只 能 算 “ 史 前 ”。 

11 http://en.wikipedia.org/wIiki/PDP-/ http://en.wikipedia.org/wiki/PDP-11 

12 在 C 语 言 20 世 纪 70 年 代 开 始 流 行 之 后 ， 忆 效 文 持 C 语 言 束 成 了 CPU 指 令 集 的 设计 目标 之 
一 ， 人 否则 这 种 CPU 很 难 推 广 。 另 外 ，C/Unix/Arpanet 还 规范 了 字 节 的 长 度 ， 在 此 之 前 ， 字 节 可 以 
是 6、7、8、9、12 比 特 ， 之 后 都 是 8-bit， 和 否则 就 不 能 与 其 他 系统 联网 通信 ( 
http://herbsutter.com/2011/10/12/dennis-ritchie/ ) 。 

13 ”用 的 是 磁 心 存储 器 〈httpWen.wikipedia.org/wikVMagneticcore memory ) ， 因 此 早期 文献 
第 以 core 指 代 内 存 。 

14 PDP-11/20 是 PDP-11 系 列 的 第 一 个 型 写 ， 甚 至 没有 内 和 存 保护 机 制 ， 也 就 没 法 区 分 核心 
态 和 用 户 态 。 

15 《The Development of the C Language》 Dennis M. Ritchie. ( 
http://cm.bell-labs.com/cm/cs/who/dmr/chist.pdf ) 。 

16 http://cm.bell-labs.com/cm/cs/who/dmr/cacm.pdf : 这 篇 文章 至 少 有 三 个 版 本 ， 第 一 版 以 单 
页 摘要 的 形式 发 表 于 1973 年 10 月 的 第 四 届 ACM SOSP 会 议 上 ， 第 二 版 发 表 于 1974 年 7 月 的 
Communications of the ACM 期 刊 上 ， 第 三 厂 友 表 于 1978 年 七 - 八 月 的 BSTJ 上 。 此 处 链接 是 第 三 
版 ， 内 容 与 CACM 的 原始 版 本 略 有 出 入 。 

17 Unix V5 的 C 编 译 器 源码 : http://minnie.tuhs.org/cgi-bin/utree.pl?file=V5/usr/c 。 

18 ”PDP-11 的 物理 内 存 可 以 有 几 百 KiB， 但 是 每 个 进程 只 能 看 到 16-bit 的 地 址 空间 。PDP- 




















11/45 文 持 将 代码 空间 和 数据 空间 分 ) 离 《 即 险 佛 训 构 ， SS 
是 直到 1979 年 的 Unix V7 才 用 上 这 个 功能 ， 而 此 时 C 语 言 早 已 定型 
http://en.wikipedla. 0r9/WIK De 11 architecture ) 。 

19 我 怀疑 当时 的 C 编 详 器 恐怕 连 整 个 函数 都 无 法 放 到 内 存 里 ， 只 能 放下 当前 的 表达 式 . 

20 ”其 实 链接 问 的 历史 比 编译 占 还 长 ， 在 没有 电 级 语言 编译 作 而 只 有 汇编 强 的 时 代 ， 链 接 
器 就 已 经 存在 。 我 们 可 以 把 多 个 汇编 源 文件 assemble 成 目标 文件 ， 再 让 链接 器 来 处 理 外 部 符号 
的 地 址 与 函数 重 定位 。 

21 《PASCAL - User Manual and Report》Springer-Verlag, 1974. 
22 “Donald Knuth 写 的 TEX 就 是 一 个 20000 多 行 的 单 源 文件 Pascal 大 程序 。 
23 ”Niklaus Wirth 最 初 的 设计 目的 是 让 Pascal 成 为 结构 化 编程 的 教学 语言 。 
24 《Why Pascal is Not My Favorite Programming Language»》 Brian W. Kernighan. 

Chttp://www.lysator.liu.se/c/bwk-on-pascal.html ) 

25 ” 运 宕 的 《C++ 开 源 程序 库 评 话 》 Chttp://blog.csdn.net/myan/article/details/679007 ) 。 
2 《Regenerating System Software》 (http://minnie.tuhs.org/PUPS/Setup/V/ regen.html ) 
27 ”在 Unix V5 中 c[012] 的 源 代码 一 共有 6100 行 ， 在 Unix V6 中 一 共有 8000 行 

28 《A Tourthrough the UNIX C Camo Dennis M. Ritchie. ( 
http://plan?.bell-labs.com/7thEdMan/v/vol2b.pdf ) 

29 “C 语 言 的 函数 原型 是 20 世 纪 80 年 代 才 从 C++ 代用 过 来 的 ， 算 是 C++ 对 C 的 反哺 。 

30 http://www.tags.org/docs/artu/c evolution.html 

31 http://minnie.tuhs.org/cgi-bin/utree.pl?file=V5/usr/source/s1/ls.c (注意 readdir() 函 数 〉。 

32 ”或 者 叫 全 局 变量 ， 如 采 不 那么 学 客 的 话 。 
33 a ge a 
34 ”链接 颖 的 主要 作用 之 一 其 实 束 套 吉 空 ， 见 [LLL] 和 [ExpC] 守 忆 的 有 天 草书 。 
35 这 意味 着 Unix V5 的 C 编 译 器 不 能 理 太 复杂 的 表达 式 ， 编 译 需 也 确实 有 对 “Expression 
overflow” 的 错误 处 理 。 

36 ” 即 struct 的 成 员 名 称 古 全 局 的 。 其 实 不 是 不 允许 ， 而 是 相同 名 字 的 成 员 的 类 型 和 其 在 各 
目 struct 内 的 偏 移 必须 也 相同 。 

37 ”前 面 已 经 讲 过 隐 式 类 型 转换 对 函数 重 载 决议 的 影响。 

38 ”有 兴趣 的 话 可 以 读 一 读 陈 昨 写 的 《恐怖 的 C++ 语 言 》 一 文 ( 
http://coolshell.cn/articles/1724.html ) 。 

39 “更 多 的 例子 见 [D&E] 的 6.3.17m 。 

40 “对 于 class 成 员 函 数 有 一 个 例外 ， 编 译 右 总 是 驳 扫 摘 一 过 class 定 义 ， 再 来 处 理 其 中 的 成 
员 函 数 ， 因 此 全 部 同名 成 员 函 数 部 参 与 草 载 决议 

41 http://enwikipedla. | value optimlzation 

42 Visual C+t+ 和 直到 2005 年 才 实 现 RVO ( 
http://msdn.microsoft.com/en-us/library/ms364057(VS.80).aspx ) 。 

43 C++ 人 允许 forward reference， 因 此 几乎 肯定 做 不 到 one pass ( 
http//en.wikipedia.org/wiki/Forward declaration ) g 

44 [EC3] 第 31 条 ，[CCS] 第 22 条 。 

45  LLVM 编 程 规范 (http://llvym.org/docs/CodingStandards.html#hl dontinclude ) 。 

46 ”Google 编程 规范 ( 
http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml#Header File Dependencies ) 。 

47 http://en.wikipedia.org/Wiki/Mutual recursion 

48 http://blog.codingnow.com/2007//06/kiss.html 
和 49 此 处 出 现 的 Java 代 码 也 没有 前 同 声明 ， 说 明 Java 编 译 乾 能 同时 看 到 多 个 源 文 件 的 代 











http://google-stylegulde.googlecode.comy/Ssvmtrunk/cppgulde.xml#Operator Overloading 
不 过 我 对 用 C++ 编写 动态 链接 库 有 目 己 的 看 法 ， 见 811.3 和 811.4。 
[ExpC] 第 5 半 ，[CS:APP] 第 7 间 ，[LLL] 第 4 章 。 

《Linkers and Loaders》 (http://www.linuxjournal.com/article/6463 ) 。 
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https://events.linuxfoundation.org/Images/stories/pdf/lfcs2012 ccoutant.pdf 
http://en.wikipedla.org/Wwiki/Name mangling 
http://gcc.gnu.org/onlinedocs/gcc/Vague-Linkage.html 
http://sourcery.mentor.com/public/cxx-abl/abi.html#vague 
此 处 以 g++ 为 例 ， 规 则 见 http://sourcery.mentor.com/public/cxx-abi/abi.jhtml#mangling 。 
见 [LLL] 第 4.4.1 节 。 
2010 年 发 布 的 gcc4.5 开 始 文 持 -flto 选 项 ， 落 后 于 Visual C++ .NET 好 多 年 。 
http://gcc.gnu.org/onlinedocs/gcc-4.4.4/gcc/Other-Builtins.html 
见 [LLL] 第 4.4.1 闻 。 
束 跟 “无 法 inline 的 inline 也 数 ” 一 个 道理 。 
64 http://sourcery.mentor.com/public/cxx-abl/abi.html#vague-vtable 

65 http://llvym.org/docs/CodingStandards.html#ll virtual anch 

66 ”假设 有 两 个 源 文件 ， 一 个 包含 了 foo.h， 一 个 没有 ，foo.h 里 定义 了 特殊 的 宏 、 模 板 特 化 
en 那么 这 两 个 源 文件 中 相同 代码 的 行为 承 可 能 不 一 致 了 了。 而 且 这 种 不 一 致 很 
难 仍 俘 。 

67 ”例如 分 为 C 语 言 系统 头 文 件 、C++ 标 准 库 头 文件 、C++ 第 三 方 库 头 文件 、 本 公司 的 基础 
厚 尖 又 | 本 项 目 风 人 六 1 

0 我 个 人 是 按 从 特殊 到 一 般 的 顺序 包含 头 文 件 ， 见 
muduo 源 但。 

69 ” 男 外 一 个 例子 是 g++ 的 -malign-double 选 项 会 影响 32-bit 下 double 类 型 的 地 址 对 齐 ， 如 果 
Ee 造成 同一 个 struct/class 的 layout 不 同 ， 那 么 程序 的 行为 就 会 很 瞻 侈 
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70 http://google-stylegulde.googlecode.com/svn/trunk/cppguide.xml#Header Files 
71 http://gcc.gnu.org/onlinedocs/gcc-4.4.4/cpp/Once 002dOnly-Headers.html 
2 http://google-stylegulide.googlecode.com/svn/trunk/cppguide.xml#The define Guard 
73 http://llvym.org/docs/CodingStandards.html#hl module 
74 http://en.wikipedia.org/Wwiki/Dependency hell 
75 ”这 个 指 的 是 编译 右 的 ABI， 跟 第 11 章 提 到 的 程序 库 的 ABI 个 是 一 回 事 。 为 外 本 处 暂 不 
考虑 将 来 C++11 引 起 的 ABI 变 化 (http://gcc.gnu.org/onlinedocs/gcc/Compatibilityhtml ) 。 
Z6 http://ols.fedoraproject.org/GCC/Reprints-2003/nathan-gccsummit.pdf 
77 http://gcc.gnu.org/gcc-3.2/c++-abi.html 
78 http://lwn.net/Articles/142828/ 
http://gcc.gnu.org/onlinedocs/gcc/C 002b 002b-Dlalect-Options.html 
79 http://gcc.gnu.org/onlinedocs/libstdc++/manual/abl.html 
80 “升级 操作 系统 时 这 三 个 都 会 一 起 变 ， 那 时 候 程序 几乎 肯定 要 重新 测试 并 重新 部 署 上 





81 ”注意 几 大 主流 Linux 发 行 版 不 约 而 同 地 在 最 新 稳定 版 中 选择 了 Kernel 2.6.32、g++4.4， 
这 也 是 muduo 选 择 kernel 2.6.32、g++4.4 为 首要 支持 平台 的 原因 。 

82 ”例如 ]libreadline 的 readline(3) 返 回 的 char* 指 针 必 须 由 调用 方 用 free(3) 释 放 。 

83 http://en.wikipedia.org/WwiIki/DLL Hell 

84 http://www.desaware.com/tech/dllhell.aspx 

85 ” 见 [LLL] 第 8 章 “Linux 共 享 库 的 组 织 ”。 

86 “header-only 的 库 也 算是 源码 库 。 

87 ”如 有 果 处 于 测试 目的 ， 多 台 机 絮 可 以 从 汞 个 网 络 文 件 系 统 局 动 可 执行 文件 。 但 是 在 生产 





环境 中 ， 一 般 要 把 可 执行 文件 放 到 本 地 文件 系统 ， 以 减少 依赖 、 增 强 可 用 性 。 
88 ”具体 地 说 这 跟 动 态 库 的 版 本 规划 有 关 ， 比 如 net 1.1.1 升 级 到 net 1.1.2 只 会 影响 原来 使 用 
net 1.1 系 列 的 应 用 程序 ， 不 影响 使 用 net 1.0 的 应 用 程序 。 
89 ”对 于 系统 库 或 许 真 的 如 此 ， 但 是 对 于 我 们 自己 写 的 业务 库 则 不 一 定 有 多 大 实际 的 效 
果 。 假 设 一 台 服 务 器 上 运行 10 个 不 同 的 服务 程序 ， 每 个 程序 的 可 执行 文件 大 小 是 100MB (当然 
这 是 非常 棱 张 的 估算 ) ， 那 么 一 共用 了 1GB 的 内 存 来 效 载 代码 ， 相 比 服务 器 动力 几 十 GB 的 内 存 





来 说 简直 是 九 牛 一 毛 。 

0 当然 尖 文 件 里 inline 函 数 的 bug 不 能 通过 友和 布 新 的 库 文 件 来 修正 ， 而 必须 重新 编译 可 执 
行文 件 。 
91 20 世 纪 90 年 代 出 版 的 《C 专 家 编程 》[ExpC] 就 大 力 推崇 动态 库 ， 仿 佛 它 是 灵丹妙药 一 
股 。 

92 ”当然 我 们 不 能 原 地 (in-place〉 窗 新 更 新 正在 使 用 的 动态 库 或 可 执行 文件 ， 这 会 让 进程 
在 一 段 时 间 之 后 因 SIGBUS 而 崩 尝 。 

93 《Microsoft .NET 框 架 程序 设计 (修订 版 ，》 第 3 章 ， 李 建 忠 译 。 

94 “ 频 楷 ” 指 的 是 一 两 个 月 一 次 ， 因 此 如 果 一 个 应 用 程序 使 用 了 5 个 独立 更 新 的 这 种 动态 
库 ， 那 么 几乎 每 周 都 会 有 库 更 新 。 

95 http://research.google.com/pubs/pub34417.html 

96 http://www.boost.org/doc/html/function/history.html 

97 http://blog.codingnow.com/2012/01/lyua link bug.html 
98 http://google-engtools.blogspot.com/2011/08/build-in-cloud-how-builld-system-works.html 
9 http://www.youtube.com/watch?v=2qv3fcXW1mg 
| http://code.google.com/p/typhoon-blade/ 








第 11 间 反思 C++ 面 同 对 象 与 虚 函 数 


C++ 的 而 问 对 象 语言 设施 相 比 其 他 现代 语言 可 算得 上 “简陋 *， 而 且 
与 语言 的 其 他 部 分 (better C、 数 据 抽象 、 沁 型 ) 融合 上 度 较 和 奎 〈 见 电子 工 
业 出 版 社 出 版 的 《C++ Primer 〈 第 4 碑 ) 〈 评 注 厂 ) 》 第 15 章 ) 。 在 
C++ 中 进行 面 同 对 象 编程 会 过 到 其 他 语言 中 不 存在 的 问题 ， 其 本 质 原 因 
是 C++ class 是 值 语义 ， 而 非 对 象 语义 。 


11.1 朴实 的 C++ 设计 


去 年 8 月 :入 职 ， 培 训 了 4 个 月 ，12 月 进入 现在 这 个 部 门 ， 到 现在 工 
作 正 好 一 年 了 。 工 作 内 容 是 软件 开发 ， 具 体 地 说 ， 用 C++ 开 发 一 个 网 络 
应 用 (TCP not Web) ， 这 是 我 们 的 外 汇 交 易 系 统 的 一 个 部 件 。 这 半年 
来 ， 和 一 两 位 同事 合作 把 原 有 的 一 个 C++ 程序 重 写 了 一 过 ， 并 增加 了 很 
多 新 功能 ， 重 写 后 的 代码 不 长 ， 不 到 15000 行 :， 代 码 质量 与 性 能 大 大 提 
高 。 实 际 上 ， 重 写 只 花 了 三 个 月 ，9 月 我 们 交付 了 第 一 个 版 本 ， 实 现 了 
原来 的 主要 蕊 能 ， 否 吐 量 提高 4 倍 。 后 面 这 三 个 月 我 们 在 增加 新 功能 ， 
并 准备 交付 第 二 个 版 本 。 这 个 项 目 让 我 对 C++ 的 使 用 有 了 新 的 体会 ， 那 
束 是 “实用 当头 ， 朴 实 为 贯 ， 好 用 才 是 王道 ”。 

C++ 是 一 门 〈 最 ) 复杂 的 编程 语言 ， 语 言 虽 复杂 ， 不 代表 一 定 要 用 
复杂 的 方式 来 使 用 它 。 对 于 一 个 金融 交易 系统 ， 正 确 性 是 首要 的 ， 价 格 
/ 数量 / 交割 日 期 弄 错 了 就 会 赔钱 。 在 编写 代码 时 ， 我 们 特别 注意 把 代 
码 写 得 尽量 简单 直 白 ， 让 人 一 看 就 懂 。 为 了 控制 代码 的 复杂 度 ， 我 们 采 
用 了 基于 对 象 的 风格 ， 也 束 是 具体 类 加 全 局 函数 ， 把 C++ 程 序 写 得 如 C 
语言 一 般 清 晰 ， 同 时 使 用 一 些 C++ 特 性 和 库 来 减少 代码 。 

项 目 中 基本 没有 用 到 面 同 对 象 ， 或 者 说 没有 用 到 继承 和 多 态 的 那 种 
面向 对 象 ( 不 一 定 非 得 有 基 类 和 派生 类 的 设计 才 是 好 设计 ) 。 引 入 基 类 
和 派生 类 ， 或 许 能 带 来 灵活 性 ， 但 是 代码 加 不 如 原来 透彻 了 。 在 不 需要 
这 种 灵活 性 的 场合 ， 为 什么 要 付出 这 样 的 代价 昵 ? 我 宁愿 花 一 天 时 间 把 
几 和 于 行 C 代 人 码 弄 避 ， 也 不 愿 在 几 十 个 类 组 成 的 继承 体系 里 组 来 纪 去 当 费 
脑力 。 定 义 并 使 用 清晰 一 致 的 接口 很 重要 ， 但 “接口 "不 一 定 非 得 是 抽象 
基 类 ， 一 个 类 的 成 员 函 数 束 是 它 的 接口 。 如 果 看 头 文 件 束 能 明白 这 个 类 
在 干什么 、 该 怎么 用 固然 很 好 ， 但 如 果 不 明 白 ， 打 开 实 现 文件 ， 东 西 都 
在 那儿 摆 着 昵 ， 一 望 而 知 。 没 必要 非得 用 个 抽象 的 接口 类 把 使 用 者 和 实 


现 隔 开 ， 再 把 实现 隐 首 起来， 这 除了 让 和 碍 找 并 理解 代 但 变 厅 烦 之 外 没有 
任何 好 处 。 一 个 进程 内 部 的 解 耦 意义 不 大 :; 相反 ， 隐 数 调用 是 最 直接 
有 效 的 通信 方式 。 或 许 采 用 接口 类 / 实现 类 的 一 个 可 能 的 好 处 是 依赖 注 
入 ， 便 于 单元 测试 。 经 过 权衡 比较 ， 我 们 发 现 针 对 各 个 类 瑟 测 试 的 意义 
不 大 。 男 外 ， 如 果 用 日 盒 测 试 ， 那 么 功能 代码 和 测试 代码 就 得 同步 更 
新 ， 会 增加 不 少 工作 量 ， 碍 手 人 碍 脚 。 

程序 里 边 有 一 处 用 到 了 继承 ， 因 为 它 能 简化 设计 。 这 是 一 个 
strategy， 涉 及 一 个 基 类 和 三 四 个 派生 类 ， 所 石 的 类 部 没有 数据 成 员 ， 只 
有 上 庶 函 数 。 这 几 个 类 的 代码 加 起 来 不 到 200 行 。 这 个 设计 不 是 一 开始 束 
有 的 ， 而 征 在 项 目 进行 了 一 六 尘 的 时 候 ， 我 们 及 现 代码 里 有 在 干 处 针对 
请 求 贡 型 的 switch-case， 于 是 所 和 烁 出 了 一 个 strategy， 把 好 儿 处 switch- 
case 符 换 为 了 Strategy 对象 的 虚 函 数 调用 ， 从 而 简化 了 代码 。 这 里 我 们 是 
把 OO 纯粹 当做 函数 指针 表 来 用 的 。 

程序 里 还 有 几 人 处 用 了 模板 ， 其 至 为 了 人 简化 与 第 三 方 库 的 交互 而 动用 
了 type traits， 这 都 是 为 了 人 简化 代码 ， 少 融 键 盘 。 这 些 代 人 码 痢 疙 在 一 个 角 
洲 里 ， 对 外 只 和 暴露 出 一 个 全 局 函数 的 接口 ， 使 用 者 不 会 修 其 困扰 。 

项 目 里 ， 我 们 唯一 仰赖 的 C++ 特性 是 确定 性 析 构 ， 即 一 个 对 象 在 离 
开 其 作用 域 之 后 会 你 证 调用 析 构 函数 。 我 们 利用 这 点 大 大 简化 了 代码 ， 
并 确 你 资源 和 内 和 存 的 回收 。 在 我 看 来 ， 确 定性 析 构 是 C+t+ 区 别 其 他 主 沈 
开 友 语言 (Java/C#/C/ 动 态 脚 本 语言 ) 的 最 主要 特性 。 

为 了 确保 正确 性 ， 我 们 男 外 用 Java 写 了 一 个 测试 夹具 (test 
harness ) 来 测试 我 们 这 个 C++ 程 序 。 这 个 测试 夹具 模拟 了 所 有 与 我 们 这 
个 C++ 程序 打交道 的 其 他 程序 ， 能 够 测试 各 种 正 第 或 异 间 的 情况 。 基 本 
上 任何 代码 改动 和 bug 修 复 都 在 这 个 夹具 中 有 体现 。 如 有 果 要 新 加 一 个 功 
能 ， 会 有 对 应 的 测试 用 例 来 验证 其 行为 。 如 果 友 现 了 一 个 bug， 先 往 夹 
有 具 里 加 一 个 或 几 个 能 复 现 pug 的 测试 用 例 ， 然 后 修复 代码 ， 让 测试 通 
过 。 我 们 积累 了 几 目 个 测试 用 例 ， 这 些 用 例 表 示 了 我 们 对 程序 行为 的 预 
期 ， 是 一 份 可 以 运行 的 文档 。 每 次 代码 改动 提交 之 前 ， 我 们 都 会 执行 一 
通 测 试 ， 以 防 低级 错误 发 生 。《 见 本 书 $9.7 的 详细 论述 和 87.12 的 例 


我 们 让 每 个 类 有 明确 的 职 贡 范围 ， 一 个 类 代表 一 个 概 仿 ， 不 能 像 个 
玉 抽 铺 一 样 什么 部 站 。 在 增加 或 修改 功能 的 时 候 ， 仔 细 考 虑 在 哪儿 下 手 
才 最 合理 。 必 要 时 可 以 动 大 手脚 ， 而 不是 每 次 部 选择 最 人 简 早 的 修补 方 
式 ， 那 样 只 会 使 代码 越 来 越 具 ， 积 重 难 返 ， 重 喇 上 一 个 版 本 的 才 。 有 
时 我 们 会 担 烁 出 一 个 新 的 类 ， 把 原来 分 散在 多 个 关 里 的 代码 集中 到 一 
起 ， 从 而 优化 结构 。 我 们 有 剖 试 夹具 傈 障 ， 并 不 担心 修改 会 破坏 什么 。 

设计 不 是 一 开始 就 形成 的 ， 而 是 随 看 项 目 进展 逐步 演化 出 来 的 。 我 


们 的 设计 古 基于 关 的 ， 而 不 是 基于 类 的 继承 体系 的 。 我 们 是 在 与 应 用 ， 
不 是 在 与 框 案 ， 在 C++ 里 用 那么 多 继承 对 我 们 没 好 人 处。 一 开始 我 们 只 有 
三 四 个 类 ， 实 现 了 基本 的 报价 功能 ， 然 后 增加 了 一 个 类 ， 实 现 了 下 单 功 
能 。 这 时 我 们 把 报价 和 下 单 的 共同 数据 结构 提 炬 成 一 个 新 的 基 ， 作 为 原 
来 两 个 类 的 成 员 《 而 不 是 基 关 ! ) ， 并 把 解析 客户 输入 的 代码 移 到 这 个 
类 里 。 我 们 的 原则 是 ， 可 以 有 特别 简单 的 类 ， 但 不 宜 有 特别 复 淋 的 类 ， 
更 不 能 有 “大 怪兽 ”。 一 个 美 太 大 ， 我 们 残 看 看 能 不 能 把 它 拆 成 两 个 ， 把 
贡 任 分 开 。 两 个 类 有 共同 的 代码 人 逻辑 ， 我 们 会 考虑 提炼 出 一 个 工具 类 来 
用 ， 输 入 数据 的 验证 束 是 这 么 提 烁 出 来 的 一 个 类 。 儿 以 疼 小 而 不 为 ， 应 
始终 让 代码 保持 清晰 易 异 。 

让 代码 保持 清晰 ， 给 我 们 市 来 了 显而易见 的 好 处 。 钳 误 更 容易 又 
露 ， 在 及 布 前 每 多 修复 一 个 错误 ， 及 布 后 吏 少 一 次 半夜 习 从 家 丙 里 叫 醒 
丛 错 的 机 会 。 

不 要 因为 东 个 技术 流行 而 去 用 它 ， 除 非 它 确实 能 降低 程序 的 复杂 
性 。 毕 竟 ， 软 件 开发 的 首要 技术 使 命 是 控制 复杂 上 度 :*， 防 止 脑袋 娄 挥 。 
对 于 继承 要 特别 小 心 ， 这 条 “ 贼 朋 ”上 去 束 下 不 来 ， 除 非 你 是 继承 
boost::noncopyable。 在 讲解 面 癌 对 象 的 书 里 ， 总 会 举 一 些 用 继 厌 的 精巧 
的 例子 ， 比 如 和 矩形、 正方 形 、 圆 形 继承 目 形 状 ， 飞 机 和 夸 父 继承 目 “ 能 
攻 的 ”， 这 不 意味 痢 继 承 处 处 适用 。 我 认为 在 C++ 这 样 需要 目 己 管理 内 
存 和 对 象 生命 期 的 语言 里 ， 大 规模 使 用 面 同 对 象 、 继 承 、 多 态 多 是 目 讨 
吝 吃 。 还 不 如 用 C 语 言 的 思路 米 设 计 ， 在 局 部 用 一 用 继承 来 代 蔡 函数 指 
针 表 。 而 GoF 的 《设计 檬 式 》 与 其 说 是 常见 问题 的 解决 方 采 ， 不 如 说 是 
绕 过 (work around) C++ 语 言 限 制 的 技巧 。 当 然 ， 也 是 一 些 人 挂 在 嘴 边 
用 来 忽悠 别人 或 雄壮 自己 的 姑 上 妙药 。 


11.2 程序 库 的 二 进 制 羔 容 性 


本 节 主 要 讨论 Linux x86/x86-64 平 台 ， 偶 尔 会 举 Windows 作 为 反面 教 
材 。 

C++ 程序 员 有 不 同 的 角色 ， 比 如 有 主要 编写 应 用 程序 的 
Capplication) ， 也 有 主要 编 与 程序 库 的 〈library) ， 有 的 程序 员 或 许 还 
号 莱 多 职 。 如 果 公 司 的 规模 比较 大 ， 会 出 现 更 细 人 臻 和 明确 的 分 工 。 比 如 
有 的 团队 专门 负 贡 一 两 个 公用 的 library; 有 的 团队 负责 菏 个 application ， 
并 使 用 了 前 一 个 团队 的 library。 

举 一 个 具体 的 例子 。 假 设 你 负 贡 一 个 图 形 库 ， 这 个 图 形 库 功 能 强 
大 ， 且 经 过 了 元 分 测试 ， 于 是 在 公司 内 慢 慢 推广 开 来 。 目 前 已 经 有 二 三 


十 个 内 部 项 目 用 到 了 你 的 图 形 库 ， 大 家 日 子 过 得 捍 好 。 前 几 天 ， 公 司 新 
买 了 一 批 大 屏幕 显示 器 (分 辩 率 为 2560x1600 像 素 ) ， 不 巧 你 的 图 形 库 
不 能 文 持 这 么 局 的 分 辨 鞭 。【〈 这 其 实 不 怪 你 ， 因 为 在 你 当年 编写 这 个 库 
的 时 候 ， 市 面 上 显示 带 的 最 局 分 辨识 是 1920x1200 像 系 。) 

结束 用 到 了 你 的 图 形 库 的 应 用 程序 在 2560x1600 分 状 率 下 不 能 正明 
工作 ， 你 该 怎么 办 ? 你 可 以 友 布 一 个 新 版 的 图 形 库 ， 并 要 求 那 二 三 十 个 
项 目 组 用 你 的 新 库 重 新 编译 他 们 的 程序 ， 然 后 让 他 们 重新 发 布 应 用 程 
序 。 或 者 ， 你 提供 一 个 新 的 库 文 件 ， 直 接 符 换 现 有 的 库 文 件 ， 应 用 程序 
的 可 执行 文件 傈 持 不 变 。 

这 两 种 做 法 各 有 优 务 。 第 一 种 做 法 声 势 洗 大 ， 儿 是 用 到 你 的 库 的 
队 都 要 经 历 一 个 release cycle。 后 一 种 做 法 似乎 节省 人 力 ， 但 是 有 风险: 
如 朵 狐 的 库 文 件 和 原 有 的 应 用 程序 可 执行 文件 不 羔 容 怎么 办 ? 

所 以 ， 作 为 Ct+ 程 序 员 ， 只 要 工作 涉及 二 进 制 的 程序 库 〈 特 别 是 动 
态 库 ) ， 部 填 要 了 解 二 进 制 兼 容 性 方面 的 知识 。 

C/C++ 的 二 进 制 兼容 性 (binary compatibility) 有 多 重 含义 ， 本 文 主 
要 在 “ 库 文件 单独 升级 ， 现 有 可 执行 文件 是 否 受 影响 ”这 个 意义 下 讨论 ， 
我 称 之 为 library (主要 是 shared library， 即 动态 链接 库 ) 的 
ABI (application binary interface〉。 公 于 编译 妖 与 操作 系统 的 ABI 见 第 
10 草 。 


11.2.1 什么 是 二 进 制 兼容 性 


在 解释 这 个 定义 之 前 ， 先 看 看 Unixz 和 C 语 言 的 一 个 历史 问题 ; 
open(O 的 fiags 参 数 的 取信 。open(2) 函 数 的 原型 如 下 ， 其 中 flags 的 取信 有 
三 个 : O_RDONLY、O_WRONLY、O_RDWR。 

Int open(const char *pathname, int flags): 

与 人 们 通常 的 直 般 相反 ， 这 几 个 第 数值 不 满 中 按 位 或 (bitwise- 
OR) 的 关系 ， 即 (0O_RDONLY |O_WRONLY) != O_RDWR。 如 果 你 想 
以 读 写 方式 打开 文件 ， 必 须 用 O_RDWR， 而 不 能 用 (O_RDONLY | 
O_WRONLY)。 为 什么 ?因为 ORDONLY、O_WRONLY、O_RDWR 的 
值 分 别 是 0、1、2。 它 们 不 满足 按 位 或 。 

那么 为 什么 UnixC 语 言 从 诞生 到 现在 一 直 没 有 纠正 这 个 小 小 的 缺 
陷 ? 比方 说 把 O_ RDONLY、O_WRONLY、O_RDWR 分 别 定义 为 1、 
2、3， 这 样 (O_ RDONLY 10_WRONLY) ==O_RDWR， 符 合 直觉 。 而 
且 这 三 个 值 都 是 宏 定 义 ， 也 不 需要 修改 现 有 的 源 代 码 ， 只 需要 改 改 系统 
的 汰 文件 束 行 了 。 


这 么 做 会 破坏 二 进 制 羔 容 性 。 对 于 已 经 编译 好 的 可 执行 文件 ， 它 调 
用 open(2) 的 参数 是 与 死 的 ， 更 改 头 文 件 并 不 能 影响 已 经 编 详 好 的 可 执行 
文件 。 比 方 说 这 个 可 执行 文件 会 调用 open(path, 1) 来 写 文 件 ， 而 在 新 规 
定 中 ， 这 表示 读 文 件 ， 程 序 瓯 铬 乱 了 。 

以 上 这 个 例子 说 明 ， 如 果 以 shared librarvy 方 式 提 供 函 数 库 ， 那 么 头 
文件 和 库 文 件 不 能 轻 昂 修改， 否则 容易 破坏 已 有 的 二 进 制 可 执行 文件 ， 
或 者 其 他 用 到 这 个 shared library 的 library。 

操作 系统 的 system call 可 以 看 成 Kernel 与 User Space 的 interface， 
kernel 在 这 个 意义 下 也 可 以 当成 shared library， 你 可 以 把 内 核 从 2.6.30 升 
级 到 2.6.35， 而 不 需要 香 独 编 详 所 有 有 用户 态 的 程序 。 

本 章 所 指 的 “二 进 制 羔 容 性 ”* 古 在 升级 (也 可 能 古 bug fix)〉 库 文件 的 
时 候 ， 不 必 重 新 编译 使 用 了 这 个 库 的 可 执行 文件 或 其 他 库 文 件 ， 并 且 程 
厅 的 功能 不 被 破坏 。 见 QRTFAQ 的 有 关 条 球 。 

在 Windows 有 臭名 昭著 的 DLL Hell 问 题 ， 比 如 MFC 有 一 堆 DLL: 
mfc40.dll 、mfc42.dll、mfc71.dll、mfc80.dll 、mfc90.dll 等 ， 这 其 实 是 动态 链 
接 库 的 本 质问 题 ， 怪 不 到 MFC 头 上 。 


11.2.2 有 哪些 情况 会 仆 坏 库 的 ABI 


到 底 如 何 判 断 一 个 改动 是 不 是 二 进 制 兼 容 呢 ?这 跟 C++ 的 实现 方式 
直接 相关 ， 虽 然 C++ 标 准 没 有 规定 C++ 的 ABI， 但 是 几乎 所 有 主流 平台 
都 有 明文 或 事实 上 的 ABI 标 准 。 比 方 襄 ARM 有 EABI，Intel Itanium 有 
Itanium ABI:，x86-64 有 仿 Itanium 的 ABI，SPARC 和 MIPS 也 都 有 明文 规 
定 的 ABI， 等 等 。x86 是 个 例外 ， 它 只 有 事实 上 的 ABI， 比 如 Windows 就 
是 Visual C++，Linux 是 G++ (G++ 的 ABI 还 有 多 个 版 本 ， 目 前 最 新 的 是 
G++ 3.4 的 版 本 ) ，Intel 的 C++ 编 译 器 也 得 按照 Visual C++ 或 G++ 的 ABI 来 
生成 代码 ， 于 则 束 不 能 与 系统 的 其 他 部 件 羔 容 。 

C++ 编 译 磊 ABI 的 主要 内 容 包 括 以 下 几 个 方面 : 


em 函数 参数 传递 的 方式 ， 比 如 x86-64 用 寄存 器 来 传 函 数 的 前 4 个 整数 
”一 . 虚 函数 的 调用 方式 ， 通常 是 vptr/vtbl 机 制 ， 然 后 用 vtbl[offset] 来 调 
用 : 

“struct 利 class 的 内 存 布局 ， 通 过 偏 移 量 来 访问 数据 成 员 ; 

name mangling:; 


-RTTI 和 异常 处 理 的 实现 (以 下 本 文 不 考虑 异常 处 理 ) 。 


C/C++ 通 过 头 文 件 又 露出 动态 库 的 使 用 方法 〈 主 要 十 函数 调用 和 对 
象 布局 ) ， 这 个 “使 用 方法 ”主要 是 给 编译 融 看 的 ， 编 详 器 会 据 此 生成 二 
进 制 代 人 码 ， 然 后 在 运行 的 时 候 通 过 状 载 磊 (loader) 把 可 执行 文件 和 动 
人 态 库 绑 到 一 起 。 如 何 判 断 一 个 改动 是 不 是 二 进 制 兼 容 ， 主 要 就 是 看 头 文 
件 暴 器 的 这 份 “ 使 用 说 明 ” 能 人 奋 与 狐 版 本 的 动态 库 的 实际 使 用 方法 兼容 。 
因为 新 的 库 必 然 有 新 的 头 文 件 ， 但 是 现 有 的 二 进 制 可 执行 文件 还 是 按 旧 
的 头 文件 中 的 “使 用 说 明 ?* 来 调用 动态 库 。 

先 说 修改 动态 库 叶 致 二 进 制 不 莱 容 的 例子 。 比 如 原来 动态 库 里 定义 
了 non-virtual 函 数 void foo(int)， 新 版 的 库 把 参数 改 成 了 double。 那 么 现 
有 有 的 可 执行 文件 束 无 法 启动， 会 发 生 undefined Symbol 错误 ， 因 为 这 两 个 
函数 的 mangled name 不 同 。 但 是 对 于 virtual 函 数 foo(linD， 修 改 其 参数 类 
型 并 不 会 导 人 臻 加载 错误 ， 而 是 会 发 生 人 诡异 的 运行 时 错误 。 因 为 虚 函 数 的 
决议 (resolution) 是 徘 仿 移 量 ， 并 不 是 菲 从 号 名 。 


再 举 一 些 源 代 码 兼 容 但 是 二 进 制 代码 不 兼容 的 例子 : 
:给 函数 增加 于 认 参数 ， 现 有 的 可 执行 文件 无 法 传 这 个 额外 的 参 


:增加 虚 图 数 ， 会 造成 vtbl 里 的 排列 变化 。“〈 不 要 考虑 “只 在 末尾 增 
加 ”这 种 取 巧 行为 ， 因 为 你 的 class 可 能 已 被 继承 。 ) 

:增加 默认 模板 类 型 参数 ， 比 方 说 Foo<T> 改 为 Foo<T， 
Alloc=alloc<T> >， 这 会 改变 name mangling。 

:改变 enum 的 值 ， 把 enum Color { Red 二 3 |}: 改 为 Red 二 4。 这 会 造成 
音 位 。 当然， 由 于 enum 目 动 排 列 取 值 ， 还 加 enum 项 也 是 不 安全 的 《在 
末尾 添加 除外 ) 。 


给 class Bar 增 加 数据 成 员 ， 造 成 sizeof(Bam 变 大 ， 以 及 内 部 数据 成 员 
的 offset 变 化 ， 这 是 不 是 安全 的 ? 通常 不 是 安全 的 ， 但 也 有 例外 。 


:如 有 果 客 户 代码 里 有 new Bar， 那 么 肯定 不 安全 ， 因 为 new 的 字 贡 数 
不 够 装 下 新 Bar 对 象 。 相 反 ， 如 果 ]ibrary 通 过 factory 返 回 Bar* (并 通过 
factory 来 销毁 对 象 ) 或 者 直接 返回 shared_ptr<Bar>， 客 户 端 不 需要 用 到 
sizeof(Bam， 那 么 可 能 是 安全 的 。 

:如 果 客 户 代 人 码 里 有 Barx pBar; pBar->memberA 王 xxX;， 那 么 肯定 不 安 
全 ， 因 为 memberA 的 新 Bar 的 俩 移 可 能 会 变 。 相 反 ， 如 和 果 只 通过 成 员 函 
数 来 访问 对 象 的 数据 成 员 ， 和 客户 端 不 需要 用 到 data member 的 offsets， 那 
么 可 能 是 安全 有 的。 

如果 客户 调用 pBar->setMemberA(xx);， 人 而 Bar::setMemberAO 是 个 


inline 气 数 ， 那 么 肯定 不 安全 ， 因 为 偏 移 量 已 经 被 inline 到 客户 的 和 二进制 
代码 里 了 了。 如果 setMemberAO 是 “outline” 子 数 ， 其 实现 位 于 shared library 
中 ， 会 随 独 Bar 的 更 新 而 更 新 ， 那 么 可 能 是 安全 的 。 


那么 只 使 用 header-only 的 库 文 件 是 不 是 安全 呢 ? 不 一 定 。 如 果 你 的 
程序 用 了 boost 1.36.0， 而 你 依赖 的 菏 个 library 在 编译 的 时 候 用 的 是 
1.33.1， 那 么 你 的 程序 和 这 个 library 束 不 能 正常 工作 。 因 为 1.36.0 和 1.33.1 
的 boost::function 的 模板 参数 类 型 的 个 数 不 一 样 ， 后 者 多 了 一 个 
aljocator。 

这 里 有 一 份 黑 名 单 ， 列 在 这 里 的 肯定 是 二 进 制 不 兼容 的 ， 没 有 列 出 
的 也 可 能 是 二 进 制 不 辣 容 的 ， 见 KDE 的 文档 7。 


11.2.3 ”哪些 做 法 多 半 是 安全 的 


前 面 我 说 “不 能 轻易 修改 ”， 上 暗示 有 些 改 动 多 半 是 安全 的 ， 这 里 有 一 
份 白 名 单 ， 欢 迎 添 加 更 多 内 容 。 

只 要 库 改 动 不 影 响 现 有 的 可 执行 文件 的 二 进 制 代码 的 正确 性 ， 那 么 
束 是 安全 的 ， 我 们 可 以 匈 部 着 新 的 库 ， 让 现 有 的 二 进 制 程序 党 蔓 。 


:增加 新 的 class。 

:增加 non-virtual 成 员 函 数 或 static 成 员 函 数 。 

修改 数据 成 员 的 名 称 ， 因 为 生产 的 三 进 制 代码 是 按 偏 移 量 来 访问 
有 的 。 当 然 ， 这 会 造成 源码 级 的 不 莱 容 。 

:还 有 很 多 ， 不 一 一 列举 了 。 


11.2.4 反面 教材 : COM 


在 C++ 中 以 虚 函 数 作为 接口 基本 上 束 跟 二 进 制 羔 容 性 说 “bye- 
bye” 了 。 有 具体 地 说 ， 以 只 包含 虑 图 数 的 class〈 称 为 interface class) 作为 
程序 库 的 接口 ， 这 样 的 接口 是 僵 便 的 ， 一 旦 及 布 ， 无 法 修改 。 

妨 外 ，Windows 下 ，Visual C++ 编 详 的 时 候 要 选择 Release 或 Debug 
人 模式， 而 且 Debug 和 模式 编译 出 来 的 library 通 党 不 能 在 Release binary 中 使 
用 (反之 亦 然 )， 这 也 是 因为 两 种 模式 下 的 CRT 二 进 制 不 兼容 (主要 是 
内 存 分 配方 面 ，Debug 有 目 己 的 短 记 (bookkeeping) ) 。Linux 束 没有 
这 个 矿 烦 ， 可 以 混用 。 


11.2.5 解决 办 法 


采用 计 态 链接 


这 里 的 静态 链接 不 是 指使 用 静态 库 〈.a) ， 而 是 指 完全 从 源码 编译 
出 可 执行 文件 (8§10.5.3〉。 在 分 布 式 系统 里 ， 采 用 议 态 链接 也 种 来 部 著 
上 的 好 处 ， 只 要 把 可 执行 文件 放 到 机 桥 上 束 能 运行 ， 不 用 考虑 它 依 赖 的 
libraries。 目前 muduo 束 是 采用 静态 链接 。 


通过 动态 库 的 版 本 官 理 来 控制 兼容 性 


要 非常 小 心地 检查 每 次 改动 的 二 进 制 兼容 性 并 做 好 发 布 计 划 ， 
比如 1.0.x 厂 本 系列 之 间 做 到 二 进 制 兼容 ，1.1.x 厂 本 系列 之 间 做 到 二 进 制 
兼容 ， 而 1.0.x 和 1.1.x 个 必 二 进 制 兼 容 。《 程 序 员 的 目 我 修 氏 》[LLLI] 讲 
了 .so 文件 的 命名 与 二 进 制 兼容 性 相关 的 话题 ， 值 得 一 谍 。 


用 pimpl 技 法 ， 编 译 器 防火 墙 


在 头 文件 中 只 又 嚣 non-virtual 接 口 ， 并 且 class 的 大 小 固定 为 
sizeof(Impl*)， 这 样 可 以 随意 更 狐 库 文件 而 不 影 啊 可 执行 文件 。 其 体 做 
法 见 811.4。 当 然 ， 这 么 做 义 多 了 一 道 间 接 性 ， 可 能 有 一 定 的 性 能 损 
失 。 男 见 《Exceptional C++》 的 有 关 条 和 珀 和 《C++ 编程 规范 》[CCS， 条 


11.3 ”避免 便 用 虚 函 数 作 为 库 的 接口 


作为 C++ 动 态 库 的 作者 ， 应 当 人 避免 使 用 虚 函 数 作 为 库 的 接口 。 这 人 么 
做 会 给 保持 二 进 制 兼 容 性 训 来 很 大 及 烦 ， 不 得 不 增加 很 多 不 必要 的 
interfaces， 最 终 竺 哨 COM 的 窗 斩 。 

本 节 主 要 讨论 Linux x86/x86-64 平 台 ， 下 面 会 继续 举 Windows/COM 
作为 反面 教材 。 本 亨 是 811.2“ 程 序 库 的 二 进 制 羔 容 性 ”的 延续 ， 在 初次 发 
表 8$11.2 内 容 的 时 候 ， 我 原本 以 为 大 家 都 对 “以 C++ 虐 图 数 作 为 接口 ”的 害 
处 达成 了 共识 ， 因 此 就 写 得 比较 简略， 但 现在 看 来 情况 并 非 如 此 ， 我 还 
得 展开 谈 一 谈 。 

“接口 ?有 广义 和 狭义 之 分 ， 本 贡 用 中 文 “ 接 口 ? 表 示 广 义 的 接口 ， 即 
一 个 库 的 代码 界面 : 用 英文 interface 表 示 狭 义 的 接口 ， 即 只 包含 virtual 
function 的 class， 这 种 class 通 常 疫 有 data member， 在 Java 里 有 一 个 专门 的 
关键 字 interface 来 表示 它 。 


11.3.1 C++ 程序 库 的 作者 的 生存 环境 


假设 你 是 一 个 shared library 的 维护 者 ， 你 的 library 补 公司 夯 外 的 两 三 
个 团队 使 用 了 。 你 发 现 了 一 个 安全 漏洞 ， 或 者 某 个 会 导致 crash 的 bug 需 
要 款 急 修复 ， 那 么 你 修复 之 后 ， 能 不 能 直接 部 普 library 的 二 进 制 文件 ? 
有 没有 人 破坏 二 进 制 兼 容 性 ? 会 不 会 破坏 别人 团队 已 经 编译 好 的 投入 生成 
环境 的 可 执行 文件 ? 是 不 是 要 强迫 别 的 团队 重新 编译 链接 ， 把 可 执行 文 
件 也 发 布 新 版 本 ? 会 不 会 打 乱 别人 的 release cycle? 这 些 都 是 工程 开发 中 
经 党 要 过 到 的 问题 。 

如 果 你 打算 新 写 一 个 C++ library， 那 么 通常 要 做 以 下 几 个 决策 : 


以 什么 方式 发 布 ? 动态 库 还 是 静态 库 ? (本 市 不 考虑 源 代 人 码 发 布 
这 种 情况 ， 这 其 实 和 衣 态 库 类 似 。) 

以 什么 方式 暴露 库 的 接口 ? 可 选 的 做 法 有 : 以 全 局 〈 含 namespace 
级 别 ) 图 数 为 接口 、 以 class 的 non-virtual 成 员 困 数 为 接口 、 以 virtual 纯 数 
为 接口 。 

Java 程 序 员 不 需要 考虑 这 么 多 ， 直 接 写 class 成 员 函 数 吏 行 ， 最 多 考 
谍 一 下 要 不 要 给 method 或 class 标 上 final。 也 不 必 考 虑 什么 动态 库 、 毅 态 
库 ， 都 是 .jar 文 件 。 

在 作出 上 面 两 个 决策 之 再， 我 们 考虑 两 个 基本 假设 : 

代码 会 有 bug， 库 也 不 例外 。 将 来 可 能 会 发 布 bug fixes。 

:会 有 新 的 功能 需求 。 与 代码 不 是 一 锤子 买卖 ， 总 是 会 有 新 的 需求 
冒 出 来 ， 需 要 程序 员 往 库 里 增加 和 东西。 这 是 好 事情 ， 让 程序 员 不 丢 饭 
例 。 


也 天 是 说 ， 在 设计 库 的 时 候 必 须要 考虑 将 来 如 何 升 级 。 如 末 你 的 代 
但 第 一 次 发 布 的 时 候 束 已 经 做 到 完美 ， 将 来 不 需要 任何 修改 ， 那 么 怎么 
做 都 行 ， 也 束 不 必 继 续 周 读本 节 内 容 了 了。 

基于 以 上 两 个 基本 假设 来 做 决定 。 第 一 个 决定 很 好 做 ， 如 果 需 要 
hot fix， 那 么 只 能 用 动态 库 ; 售 则 ， 在 分 布 式 系统 中 使 用 静态 库 更 容易 
部 闭 ， 这 在 前 面 已 经 谈 过 。 “动态 库 比 静态 库 贡 约 内 存 ” 这 种 优势 在 今天 
看 来 已 不 太 重 要 。 

下 面 假 定 你 或 者 你 的 老板 选择 以 动态 库 方 式 用 布 ， 即 发 布 .so 或 .dl 
文件 ， 来 看 看 第 二 个 决定 怎么 做 。 再 说 一 句 ， 如 果 你 能 够 以 静态 库 方式 
发 布 ， 后 面 的 抹 烦 都 不 会 过 到 。 

第 二 个 决定 不 那么 容易 做 ， 关 键 问题 是 ， 要 选择 一 种 可 扩展 的 
Cextensible) 接口 风格 ， 让 库 的 升级 变 得 更 轻松 。 “升级 "有 两 层 意 轧 : 


“对 于 bug fix only 的 升级 ， 二 进 制 库 文件 的 亚 换 应 该 莱 容 现 有 的 二 
EE TS RE WA 

:对 于 新 增 芒 能 的 升级 ， 应 起 对 客户 代 介 友好。 升级 库 之 后 ， 客 户 
蚊 使 用 新 功能 的 代价 应 该 比较 小 。 只 需要 包含 新 的 涉 文 件 〈 这 一 步 可 以 
省 略 ， 如 条 新 功能 己 丝 加 入 原 有 的 头 文 件 中 ) ， 然 后 编号 新 代码 即 可 。 
而 且 ， 不 要 在 客户 代码 中 留 下 垃圾 ， 后 面 我 们 会 谈 到 什么 是 垃圾 。 


在 讨论 上 庶 函 数 接 口 的 弊病 之 前 ， 我 们 先 看 看 虚 函 数 做 接口 的 利 见 用 法 。 
11.3.2” 虚 轴 数 作为 库 的 接口 的 两 大 用 途 
虚 函 数 作 为 接口 大 致 有 这 么 两 种 用 法 : 


:调用 ， 也 就是 库 提供 一 个 什么 功能 《比如 给 全 图 Graphics) ， 以 看 
冰 数 为 接口 方式 暴露 给 客户 六 代 人 码 。 窑 户 端 代码 一 般 不 需要 继承 这 个 
interface， 而 是 直接 调用 其 member function。 这 么 做 据说 是 有 利于 接口 
和 实现 分 离 ， 我 认为 纯 属 多 此 一 举 、 上 自欺欺人 。 

回调 ; 也 就 是 事件 通知 | 比如 网 络 库 的 “连接 建立 ”、“ 数 据 到 

“连接 上 断 开 ”等 等 。 ， 闹 代 人 码 一 般 会 继承 这 个 interface， 然 后 把 对 
ee 等 库 来 回调 目 己 。 一 般 来 说 客户 端 不 会 目 己 去 调 
用 这 些 member function， 除 非 是 为 了 与 单元 测试 模拟 库 的 行为 。 

:混合 ， 一 个 class 既 可 以 被 客户 闹 代 码 继承 用 作 回 调 ， 又 可 以 被 客 
户 端 直 接 调用 。 说 实话 我 没 看 出 这 么 做 的 好 处 ， 但 实际 中 某 些 面向 对 象 
的 C++ 库 束 是 这 么 设计 的 。 


对 于 “回调 ?方式 ， 现 代 C++ 有 更 好 的 做 法 ， 即 
boost::function+boost::bind。muduo 的 回调 即 采 用 这 种 新 方 法 (811.5) 。 
以 下 不 考虑 以 虚 图 数 为 回调 的 过 时 做 法 。 

对 于 “调用 ”方式 ， 这 里 举 一 个 虚构 的 图 形 库 来 说 明 问 题 。 这 个 库 的 
功能 是 男 线 、 辆 滤 形 、 男 加 弧 : 


struct Point 
{ 

int x: 

int vy: 
}; 


class Graphics 


{ 
virtual void drawLine(int x@, int vy@, int x1, int y]1): 
virtual void drawLine(Point p@, Point pl1): 


virtual void drawRectangle(int x@, int ye@, int x1, int v1): 
virtual void drawRectangle(Point p@, Point pl1):; 


virtual void drawArc(int x, int y, int r): 
virtual void drawArc(Point p, int ry): 


这 里 略 去 了 很 多 与 本 文 主题 无 关 有 的 细 广 ， 比 如 Graphics 的 构造 与 析 
构 、draw*() 疯 数 应 该 是 public、Graphics 应 该 不 允许 复制 ， 还 比如 
Graphics 可 能 会 用 pure virtual functions 等 等 ， 这 些 都 不 影 啊 本 文 的 讨 


论 。 
这 个 Graphics 库 的 使 用 很 简单 ， 客 户 册 看 起 来 是 这 个 样子 。 


Graphicsx* g = getGraphics():; 
g->drawLine(0, 8, 100, 200); 
releaseGraphics(g): 


似乎 一 切 都 很 好 ， 阳 光明 媚 ， 和 符合 “ 面 回 对 象 的 原则 ”， 但 是 一 旦 考 
虚 升 级 ， 有 前 景 并 刻 变 得 肾 暗 。 


11.3.3” 虐 函 数 作 为 接口 的 浆 妆 


以 虑 本 雪人 为 接口 在 一 进 制 兼容 性 方面 有 本 质 困 难 : 一 恒 发 布 ， 
:能 修改 ”。 

假如 我 需要 给 Graphics 增 加 几 个 绘图 函数 ， 同 时 保持 二 进 制 兼容 
性 。 这 几 个 新 函数 的 坐标 以 浮 点 数 表 示 ， 我 理想 中 的 新 接口 是 : 


--- Old/egraphics.h 2811-83-12 13:12:44.000000008 +0880 

+++ new/graphics.h 2811-83-12 13:13:38.0000008000 +0880 

class Graphics 

t 
virtual vold drawLine(int x@, int y@, int x1, int y1): 

+ virtual void drawLine(double x@, double y8@, double x1, double y1): 
virtual vold drawLine(Point p@, Point p1): 


virtual void drawRectangle(int x@, int vy8, int x1, int y]1): 
+ Virtual void drawRectangle(double x@, double y8, double x1, double y]1):; 
virtual void drawRectangle(Point p@, Point pl1): 


virtual void drawArc(Cint x, int y, int ry): 
+ virtual vold drawArc(double x, double y, double r); 
virtual void drawArc{(Point p, int r): 
上 
受 C++ 二 进 制 兼容 性 方面 的 限制 ， 我 们 不 能 这 么 做 。 其 本 质问 题 在 
于 C++ 以 vtable[offset] 方 式 实 现 虚 浮 数 调用 ， 而 offset 义 是 根据 虚 疯 数 声 
明 的 位 置 隐 式 确 定 的 ， 这 造成 了 脆 轮 性 。 我 增加 了 drawLine(double x0， 
double y0, double x1, double y1)， 造 成 vtable 的 排列 发 生 了 变化 ， 现 有 的 
二 进 制 可 执行 文件 无 法 再 用 旧 的 offset 调 用 到 正确 的 图 数 。 
怎么 办 呢 ? 有 一 种 和 危险 且 了 丑陋 的 做 法 ， 即 把 新 的 虚 函 数 放 到 
interface 的 末尾 : 


--- Old/graphics.h 2811-83-12 13:12:44.0000600000 + 日 8 
+++ new/graphics.h 2811-03-12 13:58:22.00000000600 +0880 
class Graphics 
ff 
Virtual vold drawLine(int x@, int Y@，1nt x1, int yY1) ; 
virtual void drawLine(Point pO，Point pl1): 


virtual void drawRectangle(int x@, int vy@, int x1, int y]1): 
virtual void drawRectangle(Point p@, Point p17; 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int ry: 


十 
+ virtual void drawLine(double x8, double y@, double x1, double yy1): 
+ Virtual void drawRectangle(double x®, double vy8, double x1, double y]1); 
+ virtual void drawArc(double x, double y, double r): 
}; 


这 么 做 很 丑陋 ， 因 为 新 的 drawLine(double x0, double y0, double x1, 
double y1T) 函 数 没 有 和 原来 的 drawLine0O 函 数 竺 在 一 起 ， 造 成 了 陪读 上 的 


不 便 。 这 么 做 同时 很 危险 ， 因 为 Graphics 如 果 被 继承 ， 那 么 新 增 虚 函数 
会 改变 派生 类 中 的 vtable offset 变 化 ， 同 样 不 是 二 进 制 兼容 的 。 
另外 有 两 种 似乎 安全 的 做 法 ， 这 也 是 COM 和 采用 的 办 法 : 
1. 通过 链 式 继承 来 扩展 现 有 的 interface， 例 如 从 Graphics 派 生出 
Graphics2 。 
--— _ graphics.h 2011-63-12 13:12:44.000000000 +D800 
+++ graphics2.h 2011-683-12 13:58:35.00000000 +0880 
class Graphics 


tl 
virtual void drawLine(int x@, int yo@, int x1, int vy]1): 
virtual void drawLine(Point p@, Point pl1): 
virtual void drawRectangle(int x@, int vy@, int x1, int y]1): 
virtual void drawRectangle(Point p@, Point pl1); 
virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int ry: 
}; 
十 
+class Graphics2a : public Graphics 
+{ 
+ Using Graphics: :drawLine: 
+ Using Graphics: :drawRectangle: 
+ Using Graphics: :drawArc; 
十 
+ // added in version 2 
+ Virtual void drawLine(double x8, double y8, double x1, double y1): 
+ virtual void drawRectangle(double x@, double y8, double x1, double y]):; 
+ Virtual void drawArc(double x, double y, double r): 
+t}; 


将 来 如 果 继 续 增 加 功能 ， 那 么 还 会 有 class Graphics3 : public 
Graphics2， 以 及 class Graphics4 : public Graphics3 等 等 。 这 么 做 和 前 面 
的 做 法 一 样 丑陋 ， 因 为 新 的 drawLine(double x0, double y0, double x1, 
double y1) 阴 数位 于 派生 Graphics2 interface 中 ， 没 有 和 原来 的 drawLine() 
图 数 竺 在 一 起 ， 造 成 了 割 和 做。 

2. 通过 多 重 继承 来 扩展 现 有 的 interface， 例 如 定义 一 个 与 Graphics 
class 有 同样 成 员 的 Graphics2， 再 让 实现 同时 继承 这 两 个 interface。 


--— graphics.h 2011-03-12 13:12:44.000000008 +0880 
+++ graphics2.h 2011-63-12 13:16:45.000000000 +0800 


class Graphics 
virtual void grawLinedint x@, int y@, int x1, int y1): 
virtual vold drawLine(Point p@, Point pl1):; 


virtual vold drawRectangle(int x@, int y8, int x1, int y]1): 
virtual void drawRectangle(Point p88, Point pl): 


virtual void drawArc(int x, int y, int r): 
virtual void drawArc(Point p, int r); 
上 
二 
+Class Graphics2 
+ 
virtual vold drawLine(int xb，1lint y@, int x1, int vy1): 
virtual void drawLine(double x8@, double yeé, double x1, double yl1): 
virtual vold drawLine(Point p@, Point pl1): 


virtual void drawRectangle(int x®@, int vy@, int x1, int y1): 
virtual void drawRectangle(double x8, double y@, double x1, double y1); 
virtual void drawRectangle(Point p8@, Point pl]l): 


virtual void drawArc(int x, int y, int r): 
virtual void drawArc(double x, double y, double r): 
virtual void drawArc(Point p, int ry): 


二 十 十 十 十 十 十 十 十 十 十 


+}; 

+// 在 实现 中 采用 多 重 接口 继承 

+class GraphicsImPL : public Graphics, // version 1 
* public Graphics2, // version 2 
+{ 

:A 

本 


这 种 融 厂 本 的 interface 的 做 法 在 COM 使 用 者 的 眼中 看 起 来 是 很 正常 
的 《比如 IXMLDOMDocument、IXMLDOMDocument2、 
IXMLDOMDocument3， 又 比如 ITaskbarList、ITaskbarList2、 
ITaskbarList3、ITaskbarList4 等 等 ) ， 这 解决 了 了 二进制 羔 容 性 的 问题 ， 
客户 疾 源 代 但 也 不 党 影 啊 。 

在 我 看 来 币 版 本 的 interface 实 在 是 很 丑陋 ， 因 为 每 次 改动 都 引入 了 
新 的 interface class， 会 造成 日 后 客户 闯 代 三 难以 管理 。 比 如 ， 如 有 果 新 版 
应 用 程序 的 代 公 使 用 了 Graphics3 的 功能 ， 要 不 要 把 现 有 代码 中 出 现 的 


Graphics2 都 将 换 挥 ? 


如果 不 从 换 ， 一 个 程序 同时 依赖 多 个 版 本 的 Graphics， 一 直 背 着 历 
中 包容 。 依 赖 的 Graphics 碑 本 越 积 越 多 ， 将 来 如 何 管 理 得 过 来 ? 

如果 要 莹 换 ， 为 什么 不 相干 的 代码 〈 现 有 的 运行 得 好 好 的 使 用 
Graphics2 的 代码 〉 也 会 因为 别处 用 到 了 Graphics3 而 被 修改 ? 


这 种 两 难 境地 纯粹 是 “以 虚 函 数 为 库 的 接口 造成 的 。 如 果 我 们 能 
接 原 地 扩 元 class Graphics， 束 不 会 有 这 些 抹 烦 事 ， 见 $11.4“ 动 态 库 接口 
的 推荐 做 法 ”。 


11.3.4 ”假如 Linux 系 统 调用 以 COM 接 口 方 式 实 现 


或 许 上 面 这 个 Graphics 的 例子 太 人 简单 ， 没 有 让 “以 虚 函 数 为 接口 ?的 
缺点 充分 暴露 出 来 ， 下 面 让 我 们 看 一 个 真实 的 和 案例: Linux Kernel。 

Linuxkernel 从 0.01 的 67 个 系统 调用 :发 展 到 2.6.37 的 340 个 系统 调用 
， kernel interface 一 和 直 在 扩充 ， 而 且 保 持 民 好 的 羔 容 性 ， 它 保持 兼容 性 
的 办 法 很 十 ， 束 是 给 每 个 system call 赋 予 一 个 终 映 不 变 的 数字 代 亏 ， 等 
于 把 虚 函 数 表 的 排列 固定 下 来 。 打 开 脚 注 中 的 两 个 链接 ， 你 融 能 看 到 
fork() 在 Linux 0.01 和 Linux 2.6.37 里 的 代 亏 都 是 2。《 系 统 调 用 的 编号 跟 
便 件 平台 有 关 ， 这 里 我 们 看 的 古 x86 32-bit 平 台 。) 

试想 假如 Linus 当 初 选择 用 COM 接 口 的 链 式 继承 风格 来 描述 ， 将 会 
A 为 了 避免 扰乱 视线 ， 请 移 步 观 看 近 百 层 继 承 的 

不 要 误 认 为 “接口 一 旦 发 布 束 不 能 更 改 ” 是 天 经 地 义 的 ， 那 不 过 
是 “以 C++ 虐 图 数 为 撤 口 ”的 固有 浆 闹 ， 如 果 跳 出 这 个 框框 去 思考 ， 其 实 
C++ 库 的 接口 很 容易 做 得 更 好 。 为 什么 不 能 改 ? 还 不 是 因为 用 了 C++ 虐 
国 数 作为 接口 。Java 的 interface 可 以 添加 新 图 数 ，C 话 言 的 库 也 可 以 添加 
新 的 全 局 函数 ，C++ class 也 可 以 添加 新 non-virtual 成 员 函 数 和 namespace 
级 别 的 non-member 函 数 ， 这 些 都 不 需要 继 厌 出 新 interface 吏 能 扩充 原 有 
接口 。 侦 俩 COM 的 interface 不 能 原 地 扩充 ， 只 能 通过 继承 来 
workaround， 产 生 一 堆 禹 版 本 的 interfaces。 有 人 说 COM 是 二 进 制 阅 容 性 
的 正面 例子 ， 某 深 不 以 为 然 。COM 确 实 以 一 种 最 丑陋 的 方式 做 到 了 “二 
进 制 羔 容 ”?。 肪 弱 和 伪 便 就 是 以 C++ 虚 疯 数 为 接口 的 答 命 。 

相反 ，Linux 系 统 调用 的 编写 以 编译 期 沼 数 方式 固定 下 来 ， 万 年 不 
变 ， 轻 而 易 举 地 解决 了 这 个 问题 。 在 其 他 面 癌 对 象 语言 (Java/C#) 
中 ， 我 也 没有 见 过 每 改动 一 次 束 给 interface 递 增 厂 本 亏 的 诡异 做 法 。 


还 是 应 了 《The Zen of Python》 中 的 那 句 话 : “Explicit is better than 
implicit, Flat is better than nested.” 


11.3.5 Java 是 如 何 应 对 的 


Java 实 际 上 把 C/C++ 的 linking 这 一 步骤 推迟 到 class loading 的 时 候 来 
做 。 吏 不 存在 “不 能 增加 碟 函 数 ” “不 能 修改 data member” 等 问题 。 在 
Java 中 用 面 癌 interface 编 程 远 比 C++ 更 通用 和 目 然 ， 也 没有 上 面 提 到 
的 “ 僵 便 的 接口 ?问题 。 


11.4 动态 库 接 口 的 推荐 做 法 


取决 于 动态 库 的 使 用 范围 ， 有 了 两 类 做 法 。 

其 一 ， 如 果 动 态 库 的 使 用 沁 围 比较 罕 ， 比 如 本 团队 内 部 的 两 三 个 程 
夺 在 用 ， 用 户 剖 是 受 探 的， 要 发 布 狐 版 本 也 比较 容易 协调 ， 那 么 不 用 太 
届 事 ， 只 要 做 好 友 布 的 版 本 管理 加 行 了 。 绸 在 可 执行 文件 中 使 用 rpath 把 
库 的 完整 路 径 确 定 下 来 。 

比如 现在 Graphics 库 发 布 了 1.1.0 和 1.2.0 两 个 版 本 ， 这 两 个 版 本 可 以 
不 必 是 二 进 制 莱 容 的 。 用 户 的 代码 从 1.1.0 升 级 到 1.2.0 的 时 候 要 重新 编 详 
一 下 ， 反 正 他 们 要 用 新 功能 都 是 要 重新 编译 代码 的 。 如 有 末 要 原 地 打 补 
本 ， 那 么 1.1.1 应 议和 1.1.0 二 进 制 兼容 ， 而 1.2.1 应 访 和 1.2.0 兼 容 。 如 采 要 
加 入 新 的 功能 ， 而 新 的 功能 与 1.2.0 不 车 容 ， 那 么 应 该 及 布 到 1.3.0 碑 本 。 

为 了 便于 检查 二 进 制 辣 容 性 ， 可 考虑 把 库 的 代码 的 暴露 情况 分 辨 清 
私 。muduo 的 头 文 件 和 class 束 有 意识 地 分 为 用 户 可 见 和 用 户 不 可 见 两 部 
分 〈86.3) 。 对 于 用 尸 可 见 的 部 分 ， 升 级 时 要 注意 二 进 制 辣 容 性 ， 选 用 
合理 的 版 本 写 ; 对 于 用 户 不 可 见 的 部 分 ， 在 升级 库 的 时 低 束 不 必 在 意 。 
男 外 muduo 本 里 设计 来 是 以 源 文 件 方式 发 布 的 ， 在 二 进 制 羔 容 性 方面 没 
有 做 太 多 的 考虑 。 

其 二 ， 如 各 库 的 使 用 范围 很 广 ， 用 户 很 多 ， 各 家 的 release cycle 不 尽 
相同 ， 那 么 推荐 pimp] 技 法 cc sa ， 并 考虑 多 采用 non-member non-friend 
function in namespacesc 42accs 5 作为 接口 。 这 里 以 前 面 的 Graphics 为 
例 ， 说 明 pimpl 的 基本 手法 。 

1. 又 露 的 接口 里 边 不 要 有 虚 函 数 ， 要 显 式 声明 构造 函数 、 析 构 函 
数 ， 并 且 不 能 inline， 原 因 见 $10.3.2。 画 外 sizeof(Graphics) == 
sizeof(Graphics::Impl*)。 


graphics.h 
class Graphics 
{ 
public: 
GraphicsO): // outline ctor 
~Graphics(); A// outline dtor 


vold drawLine(Cint x@, int ye, int x1, int y1); 
void drawLine(Point p@, Point p1): 


void drawRectangle(int x@, int y8, int x1, int Y17 ， 
void drawRectangle(Point p8, Point p1); 


vold drawArc(int x, int y, int r): 
vold drawArc(Point p, int ry: 


private: : 
class Impl; // 头 文件 只 放声 明 
boost::scoped_ptr<Impl> impl; 
}; 





graphics.h 


2. 在 库 的 实现 中 把 调用 转发 〈forward) 给 实现 Graphics::Impl， 这 
部 分 代码 位 于 .so/.dl 中 ， 随 库 的 升级 一 起 变化 。 


graphics,.cc 
#include <graphics.h> 


class Graphics::Impl 
{ 
public: 
vold grawLinetInt x@, int y@, int x1, int y1): 
volid drawLine(Point p®, Point pl1): 
void drawRectangle(int x@, int y8, int x1, int y]); 
void drawRectangle(Point p8@, Point pl1): 


void drawArc(int x, int y, int r): 
vold drawArc(Point p, int r); 


}; 


Graphics: :Graphics() 
: impl(new Impl) 

{ 

} 

Graphics: :~oraphlcs 

{ 

} 


vold Graphics::drawLine(int x@, int y@, int x1, int y]1) 


\ 
} 


impl->drawLine{x@, ye@, x1, vy1): 
void Graphics::drawLine(Point p@, Point pl1) 
{ 


+ 
i i 


impl->drawLine(p@, pl1); 


graphics.cc 


3. 如 果 要 加 入 新 的 功能 ， 不 必 通 过 继承 来 扩展 ， 可 以 原 地 修改 ， 
日 很 容易 保持 二 进 制 兼容 性 。 先 动 尖 文 件 : 


--— Old/graphics.h 2011-03-12 15:34:06.000000000 +0800 
+++ new/graphics.h 2011-03-12 15:14:12.000000000 +0800 


class Graphics 
{ 
public: 
Graphics(); // outline ctor 
~Graphics): // outline dtor 


vold drawLine{int x@, int y@, int x1, int y]1): 
+ void drawLinertdouble x@, double ye@, double x1, double vy1): 
vold drawLine(Point p@, Point pl): 


vold drawRectangle(int x®@, int y@, int x1, int y1): 
+ void drawRectangle(double x8@, double y@, double x1, double y1).; 
void drawRectangle(Point p@, Point pl1): 


void drawArc(Cint x, int vy, int r); 
+ vold drawArc(double x, double y, double r): 
void drawArc(Point p, int ry): 


private: 
class Impl: 
boost::scoped_ptr<Impl> impl:; 
1 
然后 在 实现 文件 里 增加 forward， 这 么 做 不 会 破坏 二 进 制 兼容 性 ， 
为 增加 non-virtual 函 数 不 影 啊 现 有 的 可 执行 文件 。 


-=== old/graphics. cc 2011-03-12 15:15:20.000000000 +@800 
+++ new/graphics. cc 2011-03=-12 15:15:26,.000000000 +@800 
Ge -1,35 +1,43 Ge 

#include <graphics.h> 


class Graphlcs'::Impl 
public: 
vold drawLine(int x@, int y8, int x1, int vy1): 

t+ wold drawlLine(double x@8, double y@, double x1, double vy]l): 
vold drawLine(Point pé@, Point p1): 


vold drawRectangle(1int x@, int y8, int x1, int y1): 
+ wold drawRectangletdouble x8, double y8, double x1, double y1); 
vold drawRectangle(Point p8, Point pl1); 


vold drawArc(int x, int y, int r): 
+ wold drawArc(double x, double ¥y, double r): 
vold drawArc(Point p, int r): 


}: 


Graphics: :Graphics() 
: limpl (new Impl1) 

( 

上 

Graphics::"~Graphicst) 

人 

} 

vold Graphics: :drawLine(int x@, int ye@, int x1, int vy1) 
{ 


impl-=->drawLine(x@, y@, x1l, yl1): 
} 


tyold Graphics: :drawLine(tdouble x@, double ye, double x1, double vy1) 

+{ 

+ impl->drawLine(x@, y@, xl1 , ¥y1): 

+} 

丰 

vold Graphics: :drawLine(tPoint pé@, Point pi) 

{ 

1mpl=>drawLine(p@, pl1):; 
} 
采用 pimpl 多 了 一 道 explicit forward 的 手续 ， 市 来 的 好 处 是 可 扩展 性 

与 和 二进制 莱 容 性 ， 这 通常 是 划 宽 的 。pimpl 扮 演 了 编译 旧 防 火 载 的 作 


用 。 
pimpl 不 仅 C++ 语 言 可 以 用 ，C 语 言 的 库 同样 可 以 用 ， 一 样 市 来 二 进 
制 兼 容 性 的 好 处 ， 比 如 libevent2 中 的 struct event_base 是 个 opaque 


pointer， 客 户 岂 看 不 到 其 成 员 ， 都 是 通过 libevent 的 函数 和 和 它 打 交道 ， 这 
样 库 的 版 本 升级 比较 容易 做 a 到 二 进 制 羔 容 。 

为 什么 non-virtual 函 数 比 virtual 函 数 更 健壮 ? 因为 virtual function 和 是 
bind-byvtable-offset， 而 non-virtual function 古 bind-by-name。 加 载 硕 

(loader) 会 在 程序 启动 时 做 决议 (resolution) ， 通 过 mangled name 把 

可 执行 文件 和 动态 库 链接 到 一 起 。 束 像 使 用 Internet 域 名 比 使 用 IP 地 址 更 
能 适应 变化 一 样 。 

万 一 要 路 语 言 怎么 办 ? 很 简单 ， 烘 露 C 语 言 的 接口 。Java 有 JNI 可 以 
调用 C 语 言 的 代码 ;Python/Perl/Ruby 等 的 解释 右 痢 古 C 语 言 编写 的 ， 使 
用 C 函 数 也 不 在 话 下 。C 泉 数 是 Linux 下 有 的 万 能 接口 。 

本 市 只 谈 了 使 用 class 为 接口 ， 其 实用 free function 有 时 候 更 好 《比如 
muduo/base/ Timestamp.h 除了 定义 class Timestamp 外 ， 还 定义 了 
muduo::timeDifference() 等 free function) ， 这 也 是 C++ 比 Java 等 纯 面 癌 对 


象 语 言 优 越 的 地 方 。 
11.5 ”以 boost'::function 和 boost'::bind 取 代 虚 函数 


本 贡 的 中 心思 想 是 “ 面 同 对 象 的 继承 束 像 一 条 贼 胎 ， 上 去 束 下 不 来 
了 ”而 借助 boost::function 和 boost::bind， 大 多 数 情 况 下 ， 你 都 不 用 
上 “ 贼 般 ”。 

boost::function 和 boost::bind 已 经 纳入 了 std::tr1， 这 或 许 是 C++11 最 值 
ee Sli 它 将 彻 展 改变 C++ 库 的 设计 方式 ， 以 及 应 用 程序 的 编写 
方式 。 

Scott Meyers 的 [EC3， 条 丈 35] 提 到 了 以 boost::function 和 boost:bind 取 
代 虚 函数 的 做 法 ， 另 见 孟 岩 的 《function/bind 的 救赎 (上) 》4、《 回 复 
几 个 问题 》z 中 的 “四 个 半 抽 象 ?”， 这 里 谈 谈 我 日 己 使 用 的 感受 。 

我 对 面 同 对 象 的 “继承 ?和 “多 态 ” 的 态度 是 能 不 用 就 不 用 ， 因 为 很 难 
纠正 错误 。 如 果 有 一 棵 类 型 继承 树 (class hierarchy) ， 人 们 在 一 开始 设 
计时 束 得 考虑 各 个 class 在 树 上 的 位 置 。 随 看 时 间 的 推 伯 ， 原 来 正确 的 决 
定 有 可 能 变 成 错误 的 。 但 是 更 正 这 个 错误 的 代价 可 能 很 咒 。 要 想 把 这 个 
class 在 继承 树 上 从 一 个 节点 挪 到 另 一 个 节点 ， 可 能 要 触及 所 有 用 到 这 个 
class 的 洛 户 代码 ， 所 有 用 到 其 各 层 基 类 的 客户 代 了 查 ， 以 及 从 这 个 class 铂 
生出 来 的 全 部 class 的 代 公 。 人 简直 是 替 一 发 而 动 全 身 ， 在 C++ 缺乏 展 好 重 
构 工 具 的 语言 下 ， 有 时候 只 好 保留 错误 ， 用 些 wrapper 或 者 adapter 来 掩 
着 之 。 久 而 久之 ， 设 计 越 来 越 烂 ， 最 后 只 好 推倒 重 来 2?。 解 决 办 法 之 一 
就 是 不 灯 用 基于 继承 的 设计 ， 而 是 写 一 些 容易 使 用 也 容易 修改 的 具体 


有 
人 R。 

总 之 ， 继 承 和 虚 录 数 是 万 恶 之 源 ， 这 条 “ 贼 般 ”上 去 束 不 容易 下 来 。 
不 过 还 好 ， 在 C++ 里 我 们 有 别 的 办 法 :以 boost::function 和 boost::bind 取 代 
虚 函 数 。 


用 “继承 树 ” 这 种 方式 来 建司， 确实 是 基于 概念 分 区 的 思想 。 “分 
类 ”似乎 是 西方 次 学 一 早 束 有 的 思想 ， 肪 啊 深远 ， 这 种 思想 合计 可 以 上 
溯 到 古 硕 脐 时 期 。 


比如 电影 ， 可 以 分 为 科 纠 盯 、 受 情 厂 、 伦 理 厂 、 战 争 片 、 灾 难 
厂 、 翁 怖 厂 等 等 。 

:比如 生物 ， 投 小 学 知识 可 以 分 为 动物 和 植物 ， 动 物色 可 以 分 为 有 
疹 椎 动物 和 无 月 椎 动物 ， 有 和 椎 动物 勾 分 为 鱼 关 、 两 郴 类 、 疏 行 闫 、 乌 
类 和 哺乳 类 等 。 

义 比 如 技术 书籍 分 为 电子 类 、 通 信 类 、 计 算 机 类 等 等 ， 计 算 机 书 
籍 义 可 分 为 编程 语言 、 操 作 系统 、 数 据 结 构 、 数 据 库 、 网 络 技术 等 等 。 


这 种 分 类 法 或 许 是 早期 面 癌 对象 方法 的 模仿 对 象 。 这 种 思考 方式 的 
本 质 困 难 在 于 : 菜 些 物 体 很 难 准 确 分 类 ， 似 乎 有 不 止 一 个 分 类 适合 它 。 
而 且 不 同 的 人 看 法 可 能 不 同 ， 比 如 一 部 科幻 上 巧 疑 厂 到 上 的 科 纠 的 成 分 午 还 
是 伍 疑 的 成 分 重 ， 到 撒 该 归 入 哪 一 类 。 

在 编程 方面 ， 情 况 更 糟 ， 因 为 这 个 “物体 马 是 变化 的 ， 一 开始 分 入 A 
关 可 能 是 合理 的 〈x"is-a"A) ， 随 寿 功能 沽 化， 分 入 B 类 或 许 更 合适 (x 
is more like a B) ， 但 是 这 种 改动 对 现 有 代码 的 代价 已 经 太 局 了 《特别 
对 于 C++) 。 

在 传统 的 面 同 对 象 语言 中 ， 可 以 用 继承 多 个 interfaces 来 缓解 分 钳 炎 
的 代价 ， 使 得 一 物 多 用 。 但 是 茶 些 语言 限制 了 基 关 只 能 有 一 个 ， 在 新 增 
类 型 时 可 能 会 迪 到 有 麻烦， 见 星 巴 元 下 狂 桨 奶 杂 的 例子 #。 

现代 编程 语言 这 一 步 走 得 更 远 ，Ruby 的 duck typing 和 Google Go 的 
无 继承 = 都 可 以 看 作 以 tag 取 代 分 类 《层次 化 的 类 型 ) 的 代表 。 一 个 
object 只 要 提供 了 相应 的 operations， 束 能 当做 某 种 东西 来 用 ， 不 需要 显 
式 地 继承 或 实现 某 个 接口 。 这 确实 是 一 种 进步 。 

对 于 C++ 的 四 种 泡 式 ， 我 现在 基本 只 把 它 当 better C 和 data 
abstraction 来 用 。OO 和 GP 可 以 在 非常 小 的 范围 内 使 用 ， 只 要 骏 露 的 接口 
是 object based〈 甚 全 global function ) 就 行 。 

以 上 谈 了 设计 层面 ， 再 来 说 一 说 实现 层面 。 

在 传统 的 C++ 程序 中 ， 事 件 回 调 是 通过 虚 国 数 进行 的 。 网 络 库 往 往 
会 定义 一 个 或 几 个 抽象 基 类 (Handler class) ， 其 中 声明 了 一 些 ( 纯 ) 


虚 函 数 ， 如 onConnect()、onDisconnect()、onMessage()、onTimer( 等 
等 。 使 用 者 需要 继承 这 些 基 类 ， 并 上 禾 与 (Override ) 这 些 虚 男 数 ， 以 区 
得 事件 回调 通知 。 由 于 C++ 的 动态 绑 定 只 能 通过 指针 和 引用 实现 ， 使 用 
者 必须 把 派生 类 (MyHandler) 对 象 的 指针 或 引用 隐 式 转换 为 基 类 
(Handler〉 的 指针 或 引用 ， 再 注册 到 网 络 库 中 。MyHandler 对 象 通 党 是 
动态 创建 的 ， 位 于 堆 上 ， 用 完 后 需要 delete。 网 络 库 调用 基 类 有 的 虚 函 
数 ， 通 过 动态 绑 定 机 制 实际 调用 的 是 用 户 在 派 生 类 中 override 的 虚 辑 
数 ， 这 也 是 各 种 OO framework 的 通行 做 法 。 这 种 方式 在 Java 这 种 纯 面 问 
对 象 语言 中 是 正当 做 法 &。 但 是 在 C++ 这 种 非 GC 话 言 中 ， 使 用 虑 函数 作 
为 事件 回调 接口 有 其 本 质 困 难 ， 即 如 何 定理 派生 类 对 象 的 生命 期 。 在 这 
种 接口 风格 中 ，MyHandler 对 象 的 所 有 权 和 生命 期 很 模糊 ， 到 底 谁 〈 用 
户 还 是 网 络 库 ) 有 权力 释放 它 昵 ? 有 的 网 络 库 甚至 出 现 了 delete this; 这 
种 代码 ， 让 人 捍 一 把 汗 : 如 何 才 能 保证 此 刻 程序 的 其 他 地 方 没 有 保存 着 
这 个 即将 销毁 的 对 象 的 指针 呢 ? 另外 ， 如 有 果 了 网 络 库 需 要 目 己 创建 
MyHandler 对 象 《比方 说 需要 为 每 个 TCP 连 接 创 建 一 个 MyHandler 对 

象 ) ， 那 么 就 得 定义 男 外 一 个 抽象 基 类 HandlerFactory， 用 户 要 从 它 派 
生出 MyHandlerFactory， 骨 把 后 者 的 指针 或 引用 注册 到 网 络 库 中 。 以 上 
这 些 都 是 面 同 对 象 编程 的 常规 思路 ， 或 许 大 家 已 经 习 以 为 弟 。 

在 现代 C++ 中 【〈 指 2005 年 TR1 之 后 ， 不 是 最 新 的 C++11) ， 事 件 回 
调 有 了 新 的 推荐 做 法 ， 即 boost::function 十 boost::bind (《 即 
std::trl::function 十 std::trl::bind， 也 是 最 新 C++11 中 的 std::function 十 
std::bind〉， 这 种 方式 的 一 个 明显 优点 是 不 必 担 心 对 象 的 生存 期 。 
muduo 正 是 用 boost::function 来 表示 事件 回调 的 ， 包 括 TCP 网 络 编程 的 三 
个 半 IO 事 件 和 定时 霹 事 件 等 。 用 户 代 码 可 以 传 入 签名 相同 的 全 局 函数 ， 
也 可 以 借助 boost::bind 把 对 象 的 成 员 函 数 传 给 网 络 库 作为 事件 回调 的 接 
受 方 。 这 种 接口 方式 对 用 户 代 码 的 dass 类 型 没有 限制 (不 必 从 特定 的 基 
类 派生 ) ， 对 成 员 函 数 名 也 没有 限制 ， 只 对 函数 签名 有 部 分 限制 。 这 样 
目 然 也 解决 了 空 其 指针 的 难题 ， 因 为 传 给 网 络 库 的 都 是 具有 值 语义 的 
boost::function 对 象 。 从 这 个 意义 上 说 ，muduo 不 是 一 个 面 回 对 象 的 库 ， 
而 是 一 个 基于 对 象 的 库 。 因 为 muduo 又 露 的 接口 都 是 一 个 个 的 具体 类 ， 
完全 没有 虐 函 数 〈 无 论 是 调用 还 是 回调 ) 。 

言 归 正 传 ， 说 说 boost::function 和 boost::bind 取 代 虚 函数 的 具体 做 


11.5.1 基本 用 途 


boost::function 束 像 C# 里 的 delegate， 可 以 指 癌 任何 疯 数 ， 包 括 成 员 


疯 数 。 妆 用 bind 把 某 个 成 员 函 数 绑 到 某 个 对 象 上 时 ， 我 们 得 到 了 一 个 
closure〈 闭 包 ) 。 例 如 : 


class Foo 
public: 

vold methodArY): 

vold methodIntt Int a): 

vold methodstring(const string& str): 
}; 


class Bar 
publlic: 

vold methodB( YY}: 
上 


boost: :function<voidry> fi: AAA 无 参数 ， 无 返回 慎 
Foo foo: 


f1 = boost: :bind(&Foo: :methodA, &foo): 
F100) ; AAA 调用 foo.methodA(); 


Bar bar: 
f1 = boost: :bind(8&Bar::methodB, 2&bar); 
F100 ; AAA 调用 bar .methodB(); 


f1 = boost: :bind(&Foo: :methodInt, &foo, #42): 
f10): // 调用 foo,methodInt(42Y: 


f1 = boost: :bind(&Foo::methodSstring, &foo, "hello™): 

fF10; A/ 调用 foo， methodstring("hello") 

A/ 注意 ，bind 拷贝 的 是 实 参 类 型 【const charx*)， 不 是 形 参 类 型 (string) 

// 这 里 形 参 中 的 string 对 象 的 构造 发 生 在 调用 f1 的 时 候 ， 而 非 bind 的 村 翌 ， 

A/ 因此 要 留意 bind 的 实 参 [cosnt charx) 的 生 训 期， 它 应 该 趟 短 于 f1 的 生命 期 。 
1/ 必要 时 可 通过 bindf&Foo: :methodSstring，&foo，string(aTempBufy) 来 保证 安 从 


boost: :function<voidrinty> f2: // int 参数 ， 匹 返回 慎 


f2 = boost: :bind(&Foo::methodInt, &foo0, _1); 
fF2(53); // 调用 foo.methodInt(53Y:; 


如 果 没 有 boost::bind， 那 么 boost::function 束 什么 都 不 是 ;而 有 了 J 了 
bind, “同一 个 天 的 个 同 对 象 可 以 delegate 给 个 同 的 实现 ， 从 而 实现 不 同 
的 行为 ”( 孟 大 ) ， 人 简直 整 无 政 了 。 


11.5.2 ”对 程序 库 的 影响 
程序 库 的 设计 不 应 该 给 使 用 者 带 来 不 必要 的 限制 (看 合 ) ， 而 继承 


是 第 二 强 的 一 种 碍 合 〈 最 中 不 合 的 是 友 元 ) 。 如 琳 一 个 程序 库 限 制 其 使 
用 者 必须 从 菏 个 class 派 生 ， 那 么 我 觉得 这 是 一 个 糟 料 的 设计 。 不 巧 的 
征 ， 目 前 不 少 C++ 程 序 库 融 是 这 么 做 的 。 


例 1: 线程 库 


常规 OO 设计 ” 写 一 个 Thread base class， 含 有 ( 纯 ) 虚 函 数 
Thread::run()， 然 后 应 用 程序 派生 一 个 derived class， 黎 写 run0。 程 序 里 
有 的 每 一 种 线程 对 应 一 个 Thread 的 派生 类 。 例 如 Java 有 的 Thread class 可 以 这 


么 用 。 

缺点 : 如 果 一 个 dlass 的 三 个 method 需 要 在 三 个 不 同 的 线程 中 执行 ， 
束 得 写 helper class(es) 并 玩 一 些 OO 把 戏 。 

基于 boost::function 的 设计 令 Thread 是 一 个 具体 类 ， 其 构造 函数 
接受 ThreadCallback 对 象 。 应 用 程序 只 需 提 供 一 个 能 转换 为 
ThreadCallback 的 对 象 〈 可 以 是 函数 ) ， 即 可 创建 一 份 Thread 实 体 ， 然 
后 调用 Thread::startO 即 可 。Java 的 Thread 也 可 以 这 么 用 ， 传 入 一 个 
Runnable 对 象 。C# 的 Thread 只 文 持 这 一 种 用 法 ， 构 造 函 数 的 参数 是 
delegate ThreadStart。boost::thread 也 只 支持 这 种 用 法 。 


// 一 个 基于 boost: :function 的 Thread class 基本 结构 
class Thread 
{ 
public: 
typedef boost::function<void()> ThreadCcallback: 


Thread(ThreadCallback cb) 
: cbh_(cb) 


vold start() 
{ 
/x* some magic to call run() In new created thread */ 


f 
private: 
VOld rune) 


cb_(); 
了 


ThreadCallback cb_ 
A 
和 


sa 


class Foo // 不 需要 继承 
{ 
puUublic: 
void runInThread(): 
vold runlinAnotherTihread(1int) 
上 


Foo foo: 

Thread threadl(boost: :bind(&Foo: :runIinThread, &foo)); 

Thread thread2(boost: :bind(&Foo: :runInAnotherThread, &foo, 43)): 
thread1.start(); // 在 两 小 线程 中 分 别 运 行 两 小 成 员 函 数 
thread2.start(): 


例 2: 网 络 库 


以 boost::function 作 为 桥 移 ，NetServer class 对 其 使 用 者 没有 任何 类 
型 上 的 限制 ， 只 对 成 员 函 数 的 参数 和 返回 类 型 有 限制 。 使 用 者 
EchoService 也 完全 不 知道 NetServer 的 存在 ， 只 要 在 main(O 里 把 两 者 装配 
到 一 起 ， 程 序 束 跑 起 来 了 。2z 


network library 


class Connection: 
class NetServer : boost::noncopyable 


public: 
typedef boost::function<void (Connection*)> ConnectionCallback: 
typedef boost::function<void (Connection*, const void*, int Len)> MessageCallback.; 


NetServertuint16_t porty) ; 

~NetServerr ) ， 

void registerconnectionCcallback(const ConnectionCallback&): 
vold reglsterMessageCallback(const MessageCallback&); 

void sendMessage(Connection*, const void* buf, int Leny ， 


private: 
ff i 
}; 
network library 


User code 
class EchoService 
{ 
public: 
// 符合 NetServer::sendMessage 的 原型 
typedef boost: :function<void(Connection*, const void*, int)> SendMessageCcallback: 


EchoService(const SendMessageCallback& sendMsgCb) 
: sendMessageCb_(sendMsgCb) // 保存 boost: :function 
下 过 


// 符合 NetServer::MessageCallback 的 原型 
void onMessage(Connection* conn, const voidx buf, int size) 
{ 
PrFintfft ”Received MsE from Connection %d: %.xs\n”, 
conn->id(Y, size, (const char*}buf): 
sendMessageCb_(conn, buf, size); // echo back 


// 符合 NetServer::ConnectionCallback 的 厚 型 
void onConnection(Connection* conn) 


{ 
printf("Connection from %s:%d is %s\n", conn->ipAddr(}, conn->port(), 
conn->connected() ? UP : “DOWN'): 

} 
private: 

SendMessapgeCallback sendMessageCb_; 
}; 
// 扮演 上 帝 的 角色 ， 把 各 部 件 拼 起 来 
int main() 


{ 
NetServer server(7); 
EchoService echo(bind(&NetServer: :sendMessage, &server, _1, _2, _3)): 
server.reglisterMessageCallbackt 
bind(&EchoService: :onMessage, &echo, _1, _2, _3)); 
server.registerConnectionCallback'( 
bind(&Echoservyice: :onConnection, &echo, _1)): 
server .runt(); 


User code 
11.5.3 ”对面 同 对 象 程序 人 设计 的 影响 


一 直 以 来 ， 我 对 面 同 对 象 都 有 一 种 大 近 感 ， 丢 床 染 屋 ， 绕 来 统 
的 ， 一 拳拳 打 在 棉花 上 ， 不 解决 实际 问题 。 面 癌 对 象 的 三 要 系 是 封装 、 
继承 和 多 态 。 我 认为 封装 是 根本 的 ， 继 承 和 多 态 则 是 可 有 可 无 的 。 用 
class 来 表示 concept， 这 是 根本 的 ; 全 于 继承 和 多 态 ， 其 耘 合 性 太 强 ， 往 
往 不 划算 。 


继承 和 多 态 不 仪 规定 了 函数 的 名 称 、 参 数 、 返 回 类 型 ， 还 规定 了 类 
的 继承 关系 。 在 现代 的 OO 编程 语言 里 ， 借 助 反射 和 
attribute/annotation， 已 经 大 大 放宽 了 限制 。 举 例 来 说 ，JUnit 3.x 是 用 反 
射 ， 找 出 铂 生 类 里 的 名 字符 合 void test*() 的 函数 来 执行 的 ， 这 里 束 没 继 
承 什 么 事 ， 只 是 对 函数 的 名 称 有 部 分 限制 (继承 是 全 面 限制 ， 一 字 不 
甜 ) 。 至 于 JUnit 4.x 和 NUnit 2.x 则 更 进一步 ， 以 annotation/attribute 来 标 
明 test case， 更 没 继 承 什 么 事 了 了。 

我 的 猜测 是 ， 当 杨 提 出 面 问 对象 的 时 候 ，closure 还 没有 一 个 通用 的 
实现 ， 所 以 它 没 能 算 作 基本 的 抽象 工具 之 一 。 现 在 既然 closure 已 经 这 人 么 
或 许 我 们 应 访 重 新 审视 面 癌 对象 设 计 ， 至 少 不 要 那么 滥用 继 
/了 。 

目 从 找到 了 boost::functiont+boost::bind 这 对 “ 神 兵 利 占 ”*”， 不 用 再 考虑 
class 之 间 的 继承 关系 ， 只 需要 基于 对 象 的 设计 (object-based) ， 和 斯 华 到 
肉 ， 程 序 写 起 来 顿时 顺手 了 很 多 。 


对 面 癌 对 象 设 计 柑 式 的 影响 


既然 虚 函 数 能 用 closure 代 和 蔡 ， 那 么 很 多 OO 设计 模式 ， 尤 其 是 行为 
模式 ， 台 失去 了 存在 的 必要 。 另 外 ， 既 然 没 有 继承 体系 ， 那 么 很 多 创建 
型 模式 似乎 也 没 喻 用 了 (比如 Factory Method 可 以 用 
boost::function<Base* O> 答 代 ) 。 

最 明显 的 是 Strategy， 个 用 索 区 的 Strategy 基 类 和 
ConcreteStrategyA、 ConcreteStrategyB 等 派生 类 ， 一 个 boost::function 成 
员 束 能 解决 问题 。 男 外 一 个 例子 是 Command 模 式 ， 有 了 
boost::function， 疯 数 调用 可 以 直接 变 成 对 象 ， 似 乎 开 没 Command 什 么 
事 了 。 同 样 的 道理 ，Template Method 可 以 不 必 使 用 基 类 与 继承 ， 只 要 传 
入 几 个 boost::function 对 象 ， 在 原来 调用 虚 困 数 的 地 方 换 成 调用 
boost::function 对 象 束 能 解决 问题 。 

在 《设计 模式 》 这 本 书 中 提 到 了 了 23 个 模式 ， 在 我 看 来 其 更 多 的 是 弥 
人 了 C++ 这 种 静态 奖 型 语言 在 动态 性 方面 的 不 足 。 在 动态 语言 中 ， 由 于 
语言 内 置 了 一 等 公民 的 类 型 和 图 数 2， 这 使 得 很 多 模式 失去 了 存在 的 必 
要 。 或 许 它们 解决 了 面 同 对 象 中 的 第 见 问题 ， 不 过 要 是 我 的 程序 里 连 
ei ( 指 继承 和 多 态 ) 都 不 用 ， 那 似乎 也 不 用 嘱 扰 和 面 占 对 象 设计 模 
式 了 。 

了 的 编程 范式 (paradigm) 而 流 

行 起 来 。 


依赖 注入 与 单元 测试 


前 面 的 EchoService 可 算是 依赖 注入 的 例子 。EchoService 需 要 一 个 什 
么 东西 来 有 发送 消息 ， 它 对 这 个 “东西 ?的 要 求 只 是 图 数 原 型 满足 
SendMessageCallback， 而 并 不 关心 数据 到 撒 有 发 到 网 络 上 还 是 发 到 控制 
合 。 在 正 彰 使 用 的 时 候 ， 数 据 应 该 发 给 网 络 ; 而 在 做 单元 测试 的 时 候 ， 
数据 应 该 及 给 示 个 DataSink。 

按照 面 同 对 象 有 的 思路 ， 先 写 一 个 AbstractDataSink interface， 包 合 
sendMessage() 这 个 虚 函 数 ， 然 后 派生 出 两 个 class: NetDataSink 和 
MockDataSink， 前 面 那个 干 活 用 ， 后 面 那个 单元 测试 用 。EchoService 的 
构造 函数 应 该 以 AbstractDataSink* 为 参数 ， 这 样 束 实现 了 所 请 的 接口 与 
实现 分 离 。 

我 认为 这 么 做 纯粹 是 多 此 一 举 ， 因 为 直接 传 入 一 个 
SendMessageCallback 对 象 惑 能 解决 问题 。 在 单元 测试 的 时 候 ， 可 以 
boost::bind() 到 MockServer 上， 或 菜 个 全 局 函数 上 ， 人 完全 不 用 继承 和 虚 消 
数 ， 也 不 会 影响 现 有 的 设计 。 


什么 时 候 使 用 继承 


如 果 是 指 OO 中 的 public 继 承 ， 即 为 了 接口 与 实现 分 离 ， 那 么 我 只 会 
在 派生 类 的 数目 和 功能 完全 确定 的 情况 下 使 用 。 换 句 话 说 ， 不 为 将 来 的 
扩展 考虑 ， 这 时 候 面 同 对 象 或 许 是 一 种 不 错 的 拉 述 方法 。 一 旦 要 考虑 扩 
展 ， 什 么 办 法 都 没 用 ， 还 不 如 把 程序 写 简 单 点 ， 将 来 好 大 改 或 重 写 。 

如 有 果 是 功能 继承 ， 那 么 我 会 考虑 继承 boost::noncopyable 或 
boost::enable shared from this，8S1.11 讲 到 了 enable shared from this 在 
实现 多 线程 安全 的 对 象 回调 时 的 妙用 。 

例如 ，IO multiplexing 在 不 同 的 操作 系统 下 有 不 同 的 推 基 实现， 节 
通用 的 Select0)、POSIX 的 polO、Linux 的 epollO0、FreeBSD 的 kqueueg) 
NetLoop base class 加 硅 干 具体 classes 就 是 不 错 的 解决 办 法 。 换 句 话 说 ， 
用 多 态 来 代 从 switch-case 以 达到 人 简化 代码 的 目的 。 


基于 接口 的 设计 


这 个 问题 来 和 目 那个 经 典 的 讨论 : 不 会 飞 的 企 移 (Penguin) 完 竟 应 
不 应 该 继承 目 乌 〈Bird) ， 如 果 Bird 定 义 了 virtual function flyO 的 话 。 讨 
论 的 结果 是 ， 把 具体 的 行为 提出 来 ， 作 为 interface， 比 如 Flyable〈 能 
的 ) ，Runnable (能 跑 的 ) ， 然 后 让 企鹅 实现 Runnable， 采 丛 实现 


Flyable 和 Runnable。 《其 实 矿 逢 只 能 双 脚 跳 ， 不 能 跑 ， 这 里 不 作 深 
完 。 ) 
进一步 的 讨论 表明 ，interface 的 粒度 应 足够 小 ， 或 许 包 含 一 个 

method 就 够 了， 那么 interface 实 际 上 退化 成 了 给 类 型 打 的 标签 〈tag) 。 
在 这 种 情况 下 ， 完 全 可 以 使 用 boost::function 来 代 蔡 ， 比 如 : 
class Penguin // 企 炉 能 游泳 ， 也 能 路 
{ 

public: 

Vold runc)}): 

VoOld swim()}): 


4 


class Sparrow // 麻 汰 能 飞 ， 也 能 跑 
{ 

public: 

volid fly(): 

Vold runt ) ; 


// 以 boost::function 作为 接口 

typedef boost::function<void()> FlyCallback: 
typedef boost::function<void()> RunCallback:; 
typedef boost::function<void()> Swimcallback. 


i/ 一 个 既 用 到 run， 也 用 到 fly 的 客户 class 
class Foo 
{ 
public: 
Foo(Flycallback flycb, RunCcallback runcb) 
: flyCcb_((flycb}, runCcb_(runcb) 
:dl 


private: 
FlyCallback flyCb_: 
RunCallback runCb_: 
下 


1/ 一 个 既 用 到 run， 也 用 到 swim 的 客 厂 class 
class Bar 
{ 
public: 
Bar(SwimCallback swimCcb, RunCcallback runcb) 
: SWLImCb (swlmcb)，runcb_ (runcb 
| 


private: 
Swimcallback swimCb_: 
RunCallback runcCb_: 
3 


int main() 
{ 
Sparrow s: 
Penguin p: 
// 装配 起 来 ，Foo 要 麻 省 ，Bar 要 企 禾 。 
Foo foo(tbind(&Sparrow: :fly, &s}, bind(&Sparrow: :run, &s)): 
Bar bartbind(&Penguin: :swim, &p), Bind(&Pengyin: :run, &p)): 


11.6 iostream 的 用 途 与 局 限 


本 市 主要 考虑 x86 Linux 平 台 ， 不 考虑 跨 平台 的 可 移植 性 ， 也 不 考虑 
国际 化 (i18n) ， 但 是 要 考虑 32-bit 和 64-bit 的 兼容 性 。 本 节 以 stdio 指 代 C 
语言 的 scanf/printf 系 列 格 式 化 输入 输出 函数 。 本 市 所 及 的 “C 语 言 ”( 包 括 
库 水 数 和 线程 安全 性 ) ， 指 的 是 Linux 下 gcc 十 glibc 这 一 套 编 译 占 和 库 的 
具体 实现 ， 也 可 以 认为 是 符合 POSIX.1-2001 的 实现 。 本 节 要 注意 区 
分 “编程 初学 者 ”和 “C++ 初 学者”， 二 者 含义 不 同 。 

C++ iostream 的 主要 作用 是 让 初学 者 有 一 个 方便 的 命令 行 输 入 输出 
试验 环境 ， 在 真实 的 项 目 中 很 少 用 到 iostream， 因 此 不 必 把 精力 花 在 深 
完 iostream 的 格式 化 与 manipulator 〈 格 却 操 控 和 侍 ) 上 。iostream 的 设计 初 
衷 是 提供 一 个 可 扩展 的 类 型 安全 的 IO 机 制 ， 但 是 后 来 莫名 其 妙 地 加 入 了 


locale 和 facet 等 索性。 其 整个 设计 复杂 不 堪 ， 多 重 + 虐 拟 继 承 的 结构 也 
很 “巴洛克 ”， 人 性 能 方面 几 无 亮点 。iostream 在 实际 项 目 中 的 用 处 非常 有 
限 ， 为 此 投入 过 多 的 学 习 精 力 实在 不 值 。 


11.6.1 stdio 格式 化 输入 输出 的 缺点 
对 编程 初学 者 不 友好 
看 看 下 面 这 上 段 人 简单 的 输入 输出 代码 ， 这 是 C 语 言 教 学 的 其 本 示例 。 


tinclude <stdio.h> 


1nt main() 
{ 
int 1i: 
short S: 
float f: 
double d: 
char namelL 88]: 


scanf CC %d hd %f lf %s” , &l, &s, &f, &d, name): 
printf("%d %d %f %f %SAn i, ss, f, d, namey): 


注意 到 其 中 


输入 和 输出 用 的 格式 字符 串 不 一 样 。 输 入 short 要 用 %hd， 输 出 
用 %d; 输入 double 要 用 %lf， 输 出 用 %f。 

输入 的 参数 不 统一 。 对 于 i、s、f、d 等 变量 ， 在 传 入 scanf() 的 时 候 
要 取 地 址 (&) ;而 对 于 字符 数组 name， 则 不 用 取 地 址 。 读 者 可 以 试 一 
试 如 何 用 几 句 话 同 刚 开 始 学 编程 的 初学 者 解释 上 和 面 两 条 背后 的 原因 ( 涉 
及 传递 函数 不 定 参 数 时 的 类 型 转换 、 函 数 调 用 栈 的 内 存 布局 、 指 针 的 意 
义 、 字 符 数组 退化 为 字符 指针 等 等 ) 。 如 果 一 开始 解释 不 清 ， 只 好 告诉 
倪 学 者 “这 是 规定 ”， 弄 得 人 一 头 务 水 。 

绥 冲 区 次 出 的 危险 。 上 面 的 例子 在 谈 入 name 的 时 候 没 有 指定 大 
小 ， 这 是 用 C 语 言 编 程 的 安全 漏洞 的 主要 来 源 。 应 该 在 一 开始 承 强 调 正 
确 的 做 法 ， 避 免 养 成 钳 误 的 习惯 。 


正确 而 安全 的 做 法 如 下 所 示 : 


Int maint) 


{ 
const int max_name = 8@: 
char nameLmax_name] ; 


char fmt[16]: 

sprintffmt, "awds”, max_name - 17): 
scanf fmt, name): 

printf( %s\n’, Name); 


这 个 动态 构造 格式 化 字符 串 的 做 法 烈 怕 更 难 同 初 学 者 解释 。 
安全 性 (security) 


C 语 言 的 安全 性 问题 近 十 几 年 来 引起 了 广泛 的 注意 ，C99 增 加 了 
snprintf() 等 能 够 指定 输出 缓冲 区 大 小 的 函数 ， 输 出 方面 的 安全 性 问题 已 
经 得 到 解决 ， 输 入 方面 似乎 没有 太 大 进展 ， 还 要 徘 程序 员 上 自己 动手 。 

考虑 一 个 徐 单 的 编程 任务 : 从 文件 或 标准 输入 谈 入 一 行 字符 串 ， 行 
的 长 度 不 确定 。 我 发 现 葛 然 没有 哪个 C 语 言 标准 库 函 数 能 完成 这 个 任 
务 ， 除 非 和 目 己 动手 。 

首先 ，getsO 是 错误 的 ， 因 为 不 能 指定 绥 剖 区 的 长 度 。 

其 次 ，fgetsO 也 有 问题 。 它 能 指定 缓冲 区 的 长 度 ， 所 以 是 安全 的 。 
但 是 程序 必须 预 设 一 个 长 上 度 的 最 大 值 ， 这 不 满足 题目 要 求 “ 行 的 长 度 不 
确定 >。 另 外 ， 程 序 无 法 判断 fgetsO0 到 底 读 了 多 少 个 字 节 。 为 什么 ? 考虑 
一 个 文件 的 内 容 是 9 个 字 节 的 字符 串 "Chen\000Shuo"， 注 意 中 间 出 现 
了 "\0' 字 从 ， 如 果 用 fgetsO) 来 读 取 ， 客 尸 问 如 何 知 道 \000Shuo" 也 是 输入 
的 一 部 分 ?毕竟 strlenO0 只 返回 4， 而 且 整 个 字符 串 里 没有 \Nn 字符 。 

最 后 ， 可 以 用 glibc 定 义 的 getline(3) 函 数 来 读 取 不 定 长 的 “ 行 ”。 这 个 
国 数 能 正确 处 理 各 种 情况 ， 不 过 它 返 回 的 是 malloc0O 分 配 的 内 存 ， 要 求 
调用 闪 目 己 free0)。 


类 型 安全 〈type-safety ) 


如 朱 printfO 的 整数 参数 类 型 是 int、long 等 内 置 基 型 ， 那 么 printfO 的 
格式 化 字符 串 很 容易 写 。 但 是 如 果 参 数 类 型 是 系统 头 文 件 里 typedef 的 美 
型 呢 ? 

如 果 你 想 在 程序 中 用 printfO 来 打印 日 志 ， 你 能 一 眼看 出 下 面 这 些 类 
型 访 用 "%d"、"%ld"、"%lld" 中 的 哪 一 个 来 输出 吗 ? 你 的 选择 是 否 同时 


兼容 32-bit 和 64-bit 平 台 ? 


clock_t。 这 是 cdlock(3) 的 返回 类 型 。 

dev_t。 这 是 mknod(3) 的 参数 类 型 。 

in_addr _t、in_port_t。 这 是 struct sockaddr_in 有 的 成 员 类 型 。 

-nfds_t。 这 是 poll(2) 的 参数 类 型 。 

off t。 这 是 lseek(2) 的 参数 类 型 ， 厂 烦 的 是 ， 这 个 类 型 与 安定 义 
_FILE_OFFSET_BITS 有 关 。 

-pid_t、uid_t、gid_t。 这 是 getpid(2)/getuid(2)/getgid(2) 的 返回 类 型 

:ptrdiff_t。printf() 专 门 定义 了 "t" 前 级 米 文 持 这 一 类 型 (即使 
用 "%td") 。 

“size_t、ssize_t。 这 两 个 类 型 到 处 都 在 用 。printf() 为 此 专门 定义 
了 "z" 前 绥 来 文 持 这 两 个 次 型 〈 即 使 用 "%zu" 或 "%zd" 来 打印 ) 。 

“socklen_t。 这 是 bind(2) 和 connect(2) 的 参数 类 型 。 

time_t。 这 古 time(2) 的 返回 类 型 ， 也 是 gettimeofday(2) 和 和 
clock_gettime(2) 的 结构 体 参 数 的 成 员 类 型 。 


如 末 在 C 程 序 里 要 正确 打印 以 上 次 型 的 整数 ， 慌 但 要 费 一 乍 脑筋 。 
《The Linux Programming Interface》 的 作者 建议 (3.6.2 节 ) 先 统一 转换 
为 long 关 型 ， 再 用 "9%1d" 来 打印 ， 对 于 茶 些 类 型 仍然 需要 特殊 处 理 ， 比 
如 off_t 的 其 型 可 能 是 long long。 

万 外 ，int64 ft 和 在 32-bit 和 64-bit 平 台 上 起 不 同 的 突 型 ， 为 此 ， 如 末 程 
序 要 打印 int64 t 变 量 ， 需 要 包含 <inttypes.h> 头 文件 ， 并 且 使 用 PRId64 
宏 : 


#include <stdio.h> 
#define __STDC_FORMAT_MACROS 
#include <inttypes.h> 


int maint) 
{ 
LInt64 t x = 100; 
printf("%" PRId64 "\n", x); 
: printf(OC"%06" PRId64 ™\n”, x): 


muduo 的 Timestamp class 使 用 了 PRId64。Google C++ 编码 规范 也 提 
到 了 64-bit 兼 容 性 。2 


这 些 问 题 在 C++ 里 都 不 存在 ， 在 这 方面 jostream 是 个 进步 。 


C stdio 在 类 型 安全 方面 原本 还 有 一 个 足 扣 ， 即 格式 化 子 从 串 与 参数 
类 型 不 匹配 会 造成 难以 发 现 的 bug， 不 过 现在 的 编译 器 已 经 能 够 检测 很 
多 这 种 错误 (使 用 -Wall 编 译 选项 ) : 


int main() 


double d = 100.0， 
A/ warning: format '%d' expects type "int ，but argument 2 has type 'double' 
printf("%d\n”, d): 


short s: 

/YA warning: format '%d' expects type 'int*', but argument 2 has type 'short int*’ 
scanf("%d", &s); 
slze_t sz = 1: 


/i no warning 
printf("%zd\n", sz); 


个 可 扩展 


C stdio 的 为 外 一 个 缺点 是 无 法 文 持 目 定 义 的 类 型 ， 比 如 我 与 了 一 个 
Date class， 我 无 法 像 打 印 int 那 样 用 printfO 来 直接 打印 Date 对 象 。 


struct Date 


l 

int year, month, day; 
3 
Date date: 


printf( %D , &date); // WRONG 

glibc 放 宽 了 这 个 限制 ， 人 允许 用 户 调用 register_printf_function(3) 注 册 
日 己 的 类 型 。 当 然 ， 前 提 是 与 现 有 的 格式 子 得 个 冲突 (这 其 实 大 大 限制 
了 这 个 功能 的 用 处 ， 现 实 中 也 几乎 没有 人 真 的 去 用 它 ) 。 2 
性 能 

C stdio 的 性 能 方面 有 两 个 弱点 。 

1. 使 用 一 种 little language《〈 现 在 流行 叫 DSL ) 来 配置 格式 。 这 固然 


先 解析 "%d" 字 从 串 ， 大 多 数 情况 下 这 不 是 问题 ， 条 些 场 合 则 需要 自己 写 
整数 到 字符 器 的 转换 。 


2. C locale 的 负担 。locale 指 的 是 不 同 语种 对 “什么 是 空白 ” “什么 
征 字 母 ” “什么 是 小 数 点 "有 不 同 的 定义 〈 德 语 中 小 数 点 是 逗号 ， 不 是 
句点) 。C 语 言 的 printf()、scanf()、isspace()、isalpha()、ispunct()、 
strtod0 等 等 图 数 都 和 locale 有 关 ， 而 且 可 以 在 运行 时 动态 更 改 jocale。 允 
算是 程序 只 使 用 默认 的 ”C?”locale， 仍 然 要 为 这 个 灵活 性 付出 代价 。 


11.6.2 iostream 的 设计 初衷 


iostream 的 设计 初 庄 包括 克服 C stdio 的 缺点 ， 提 供 一 个 高 效 的 可 扩 
展 的 类 型 安全 的 IO 机 制 。“ 可 扩展 ”有 两 层 意 思 : 一 是 可 以 扩展 到 用 户 目 
定义 类 型 ， 二 是 通过 继承 iostream 来 定义 上 自己 的 stream。 本 文 把 前 一 种 称 
为 “类 型 可 扩展 ”， 把 后 一 种 称 为 “功能 可 扩展 ”。 


类 型 可 扩展 和 类 型 安全 


“类 型 可 扩展 ”和 “类 型 安全 ”都 是 通过 函数 重 载 来 实现 的 。 
iostream 对 初学 者 很 友好 ， 用 iostream 重 写 与 前 面 同样 功能 的 代码 : 
#include <iostream> 
#include <strine> 
Using namespace std; 


int main() 


int 1: 
short s: 
float ff: 
double d: 
string name: 


Cin >> 1 >> S >> ff >> d >> name: 
cout << 1 << "< ss<< ET ds << name << endl: 


这 段 代 码 恐 介 比 scanfyprintf 叹 本 容易 解释 得 多 ， 而 且 设 有 安全 性 
(security) 方面 的 问题 。 
我 们 自己 的 类 型 也 可 以 融入 iostream， 使 用 起 来 与 built-in 类 型 没有 
区 别 。 这 主要 得 力 于 C++ 可 以 定义 non-member functions/operators。 


#include <ostream> // 证 生年 友 重量 级 了 ? 
class Date 
public: 


Dater(int year, int month, int day) 
: year_(year), month_(month), day_(day) 


{4 

vold writelo(std: :ostream& os) const 

: Os << year_ << '-' << month_ << '-' << day_: 
bh 
private: 


int year_, month_, day_; 


}; 
std::ostream& operator<<(std: :ostream& os, const Date& date) 


date .writeTo(os): 
return os; 


} 


Int main() 
{ 
Date date(2011, 4,，3): 
std: :cout << date << std: :endl.; 
+ 
iostream 竺 借 这 两 点 (类 型 安全 和 类 型 可 扩展 ) ， 基 本 元 服 了 stdio 
在 使 用 上 的 不 便 与 不 安全 。 如 果 iostream 止 步 于 此 ， 那 它 将 是 一 个 非常 
便利 的 库 ， 可 异 它 前 进 了 另外 一 步 。 
iostream 的 演变 大 致 可 分 为 三 个 阶段 。 第 一 阶段 是 Bjarne Stroustrup 
在 CFront 1.0 里 实现 的 streams 库 关 。 这 个 库 人 符合 前 述 “ 类 型 安全 、 可 扩 
展 、 高 效 ?" 等 特征 ，Bjarme 有 明了 用 移 位 操作 符 〈<< 和 >>) 做 VO 的 办 
法 ，istream 和 ostream 都 是 具体 类 ， 也 没有 manipulator。 第 二 阶段 ，Jerry 
Schwarz 设 计 了 “经 典 ”ostream， 在 CEFront 2.0 中 他 的 设计 大 部 分 得 以 体 
现 。 他 发 明了 manipulator， 实 现 手 法 是 以 困 数 指针 参数 来 重 载 输入 输出 
操作 符 :， 他 还 采用 多 重 继承 和 虚拟 继承 手法 ， 设 计 了 现在 我 们 看 到 的 ios 
葵 形 继承 体系 ; 此 外 ，istream 有 了 基 类 ios， 也 有 了 派生 类 ifstream 和 


istrstream，ostream 也 是 如 此 。 第 三 阶段 ， 在 C++ 标准 化 的 过 程 中 ， 
iostream 有 大 幅 更 新 ，Nathan Myers 设 计 了 Locale/Facet 体 系 ，iostream 被 
模板 化 以 适应 宽 军 两 种 字符 ， 以 及 以 stringstream 蔡 换 strstream 等 。 


11.6.3 iostream 与 标准 库 其 他 组 件 的 交互 
“全 语义 2 与 < 对象 语义 ?” 
不 同 于 标准 库 其 他 class 的 “ 值 语 义 (value semantics) ”，iostream 


是 “对 象 语义 (object semantics) ”三 ， 即 iostream 古 non-copyable。 这 是 正 
确 的 ， 因 为 如 果 fstream 代 表 一 个 打开 的 文件 的 话 ， 找 贝 一 个 fstream 对 象 
意味 看 什么 昵 ? 表 示 打 开 了 两 个 文件 吗 ?” 如 果 销 虹 一 个 fstream 对 象 ， 它 
会 关闭 文件 句柄 ， 那 么 另 一 个 fstream 对 象 副本 会 因此 受 影响 吗 ? 
iostream 禁 止 捞 贝 ， 利 用 对 象 的 生命 期 来 明确 管理 资源 (如 文 
件 ) ， 很 卓然 地 整 避 人 急 了 这 些 问 题 。 这 束 是 RAII， 一 种 重要 上 且 独特 的 
C++ 编 程 手法 。 
C++ 同 时 支持 “数据 抽象 (data abstraction ) ”和 “ 面 问 对 象 编程 
(Cobjectoriented) ”， 其 实 主要 束 古 “ 值 语义 ”与 “对 象 语义 ”的 区 别 ， 这 是 
一 个 比较 大 的 主题 ， 见 811.7。 


std::stringg 


iostream9] 以 与 std::string 配 合 得 很 好 。 但 是 有 一 个 问题 : 谁 依赖 
谁 ? 

std::string 的 operator<< 和 operator>> 是 如 何 声 明 的 ? 注意 operator<< 
是 个 二 元 操作 符 ， 它 的 参数 是 std::ostream 和 std::string。<string> 头 文件 
在 声明 这 两 个 operator 的 时 候 要 不 要 下 nclude <iostream>? 

iostream 和 std::string 都 可 以 单独 include 来 使 用 ， 显 然 iostream 头 文件 
里 不 会 定义 std::string 的 << 和 >> 操 作 。 但 是 ， 如 果 <string> 要 #include 
<iostream>， 电 不 是 让 string 的 用 户 被 迫 也 用 了 iostream? 编 详 iostream 头 
人 当 的 慢 啊 〈 因 为 iostream 是 template， 其 实现 代码 都 放 到 了 头 
文 ) 。 

标准 库 的 解决 办 法 是 定义 <iosfwd> 头 文件 ， 其 中 包含 istream 和 
ostream 等 的 前 问 声 明 (forward declarations) ， 这 样 <string> 头 文件 在 定 
义 得 入 和 输出 操作 符 时 焉 可 以 不 必 包 合 <iostream>， 只 需要 包 合 简短 得 多 
的 <iosfwd>， 和 避免 引入 不 必要 的 依赖 。 我 们 目 己 写 程 序 也 可 信和 此 学 习 如 
何 文 持 可 选 的 功能 。 


另外 值得 注意 的 是 ，istream::getline0 成 员 函 数 的 参数 类 型 是 char ， 
为 <istream> 没 有 包含 <string>， 而 我 们 第 用 的 std::getlineO 函 数 是 个 
non-member function， 定义 在 <string> 里 边 。 


std::complexx 


标准 库 的 复数 类 std::complex 的 情况 比较 复杂 。<complex> 头 文件 会 
目 动 包含 <sstream>， 后 者 会 包含 <istream> 和 <ostream>， 这 是 个 不 小 的 
人 负担。 问题 是 ， 为 什么 这 么 实现 ? 

它 的 operator>> 操 作 比 string 复 杂 得 多 ， 如 何 应 对 格式 不 正确 的 情 
况 ? 输入 字 任 串 不 会 过 到 格式 不 正确 ， 但 是 输入 一 个 复数 则 可 能 过 到 各 
种 问题 ， 比 如 数字 的 格式 不 对 等 。 有 谁 会 芮 的 在 产品 项 目 里 用 
operator>> 来 谈 入 字符 方式 表示 的 复数 ， 这 样 的 代码 的 健壮 性 如 何 保 
证 ? 基于 同样 的 理由 ， 我 认为 产品 代码 中 应 该 避免 用 istream 来 访 取 市 格 
式 的 内 容 ， 后 面 也 不 再 谈 istream 格 式 化 输入 的 缺点 ， 它 已 经 浪 选 。 

它 的 operator<< 也 很 奇怪 ， 它 不 是 直接 使 用 参数 ostream& os 对 象 来 
输出 ， 而 是 先 构 造 0stringstream， 输 出 到 该 string stream， 再 把 结果 字符 
串 输 出 到 ostream。 人 简化 后 的 代码 如 下 : 


template<typename T> 
std::ostream& operator<<(std: :ostream& os, const std: :complex<T>& x) 
{ 
std: :ostringstream s: 
S << (" << x.real(y << ,' << x,imag() << '})'; 
return os << S.Strf)， 
上 
注意 到 ostringstream 会 用 到 动态 分 配 内 存 。 也 束 是 说 ， 每 输 出 一 个 
complex 对 象 焉 会 分 配 杰 放 一 次 内 存 ， 效 率 堪 忧 。 
根据 以 上 分 机 ， 我 认为 iostream 和 complex 配 合 得 不 好 ， 但 是 它们 未 
合 得 更 紧密 (与 string/iostream 相 比 〉”， 这 可 能 是 个 不 得 已 的 技术 限制 吧 
(complex 是 class template， 其 operator<< 必 须 在 头 文 件 中 定义 ， 而 这 个 
定义 又 用 到 了 ostringstream， 不 得 已 包含 了 sstream 的 实现 ) 。 
如 果 程 序 要 对 complex 做 ID， 从 效 蓉 和 健壮 性 方面 考虑 ， 建 议 不 要 
使 用 iostream 。 


11.6.4 iostream 在 使 用 方面 的 缺点 
在 简单 使 用 iostream 的 时 候 ， 它 确实 比 stdio 方 便 ， 但 是 深入 一 点 束 


会 友 现 ， 二 者 可 说 各 擅 胜 场 。 下 面谈 一 谈 iostream 在 使 用 方面 的 缺点 。 
格式 化 输出 很 烦 开 


iostream 玉 用 manipulator 来 格式 化 ， 如 末 我 想 按照 2010-04-03 的 格式 
输出 前 面 定义 的 Date class， 那 么 代码 要 改 成 : 


class Date 
{ 
Ee 
vold writelo(std: :ostream& os) const 
\ 
二 DS << Year _ << -< month_ << '-' << day_: 
+ O05 << year_ << 一 
+ << std::setw(2) << std::setfillc 和 ) << month_ << 一 
+ << std::setw(2) << std::setfill('@') << day_: 
) 


假如 用 stdio， 会 简短 得 多 ， 因 为 printt 采 用 了 一 种 表达 能 力 较 强 的 小 
语言 来 描述 输出 格式 。 
class Date 


{ 
< 


vold writeTo(std: :ostream& os) const 
O05 << year, << -" << month_ << '-' << day_: 
char buf[32]; 
snprintfrbuf ，sizeof buf, "%d-%02d-%02d", year_, month_, day_): 
os << buf; 
} 


MR 
使 用 小 语言 来 插 述 格式 还 市 来 了 为 外 一 个 好 处 :外 部 可 配置 。 


外 部 可 配置 性 
能 不 能 用 外 部 的 配置 文件 来 定义 程序 中 日 期 的 格式 ? 在 C stdio 中 很 
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好 办 ， 把 格式 字符 串 "%d-%02d-%02d" 保 存 到 配置 里 就 行 。 但 是 iostream 
呢 ? 它 的 格式 是 写 死 在 代码 里 的 ， 灵 活性 大 打折 扣 。 
再 举 一 个 例子 ， 程 友 的 message 的 多 语言 化 。 
const charx name = "Shuo Chen ， 
int age = 29; 
printf("My mame 1is %1$s, I am %2$d years old.\n”", name, age); 
cout << "My name 1s ”<< Name << ", I am ”<< ape << ”Years old.,” << ehndl: 
对 于 stdio， 要 让 这 段 程 序 文 持 中 文 的 话 ， 把 代码 中 的 "My name is 
.."， 蔡 换 为 "我 叫 %1$s， 今 年 %2$d 岁 。N" 即 可 。 也 可 以 把 这 段 提 示 语 
做 成 资源 文件 ， 在 运行 时 读 入 。 而 对 于 iostream， 您 怕 没 有 这 么 方便 ， 
因为 代码 是 文 离 破 人 奉 的 。 
C stdio 的 格式 化 字符 串 体 现 了 草 要 的 “数据 束 是 代码” 的 思想 ， 这 
种 “数据 ”与 “代码 ”之 间 的 相互 转换 是 程序 灵活 性 的 根源 ， 远 比 00 更 为 


天 酒 。 
stream 办 状态 


如 果 我 想 用 十 六 进 制 方式 输出 一 个 整数 x， 那 么 可 以 用 hex 操 探 从 ， 
但 是 这 会 改变 ostream 的 状态 。 比 如 说 


int x = 8888， 
cout << hex << showbase << x << endl: // print @x22b8 
cout << 123 << endl: A:/ print 08xyrb 


这 上 段 代 码 会 把 123 也 按照 十 六 进 制 方式 输出 ， 这 敬 怕 不 是 我 们 想 要 的 。 
再 举 一 个 例子 ，setprecision() 也 会 造成 持续 有 影 啊 : 


double d = 123.45: 

printf("%8.3f\n", d): 

cout << d << endl; 

COUt << setw(8) << fixed << setprecision(3) << d << end]， 
cout << d << endl:; 


输出 是 : 
$ /a.out 
123.450  ”%8.3f 的 输出 
123 .45 默认 cout 格式 
123.450 我 们 设置 的 精度 
123 .459 精度 持续 影响 后 续 输 出 


可 见 代 但 中 的 setprecision(0) 影 响 了 后 续 和 输出 的 精度 。 注 意 setw0 不 会 


造成 影响 ， 它 只 对 下 一 个 输出 有 效 。 
这 说 明 ， 如 果 使 用 manipulator 来 控制 格式 ， 需 要 时 刻 小 心 以 防 影 啊 
了 后 续 代 码 ; 而 使 用 C stdio 束 没有 这 个 问题 ， 它 是 “上 和 下文 无 关 的 ” 


知识 的 通用 性 


在 C 语 言 之 外 ， 有 其 他 很 多 语言 也 文 持 printf() 风 格 的 格式 化 ， 例 如 
Java、Perl、Ruby 等 等 *。 学 会 printf() 的 格式 化 方法 ， 这 个 知识 还 可 以 用 
到 其 他 语言 中 。 但 是 C++ iostream“ 只 此 一 家 ， 别 无 分 店 ”。 反 正 都 是 格 
式 化 输出 ， 学 习 stdio 投 资 回报 率 更 高 。 

基于 这 点 考虑 ， 我 认为 不 必 深 客 iostream 的 格式 化 方法 ， 只 需要 用 
好 它 最 基本 的 类 型 安全 输出 即 可 。 在 真 的 需要 格式 化 的 场合 ， 可 以 考虑 
snprintfO 打 印 到 栈 上 绥 冲 ， 再 用 ostream 输 出 。 


线程 安全 与 原子 性 


iostream 有 的 为 外 一 个 问题 是 线程 安全 性 。POSIX.1-2001 明 确 要 求 
stdio 隙 数 是 线程 安全 的 2， 而 且 还 提供 了 flockfile(3)/funlockfile(3) 之 类 的 
函数 来 明确 控制 FILE* 的 加 人 锁 与 解锁 。 

iostream 在 线程 安全 方面 没有 保证 ， 束 算 单 个 operator<< 是 线程 安全 
的 ， 也 不 能 保证 原子 性 。 因 为 cout <<a <<b; 是 两 次 函数 调用 ， 相 当 于 
cout.operator<<(a). operator<<(b)。 两 次 调用 中 间 可 能 会 被 打 汤 进行 上 下 
文 切 的 ， 造 成 输出 内 容 不 连续 ， 捅 入 了 其 他 线程 打印 的 字符 。 而 
fprintf(stdout, "%s %d", a, b); 征 一 次 函数 调用 ， 而 且 十 线程 安全 的 ， 打 印 
的 内 容 不 会 受 其 他 线程 影响 。 因 此 ，iostream 并 不 适合 在 多 线程 程序 中 
做 logging。 


iostreamb 的 局 限 
根据 以 上 分 析 ， 我 们 可 以 归纳 iostream 的 局 限 : 


:输入 方面 ，istream 不 适合 输入 市 格式 的 数据 ， 因 为 “ 纠 铬 ”能力 不 
强 ， 进 一 步 的 分 析 请 见 南 宕 写 的 《 浪 约 思想 的 一 个 反面 案例 》， 琴 宕 
说 “复杂 的 设计 必然 市 来 复杂 的 使 用 规则 ， 而 面 对 复 杂 的 使 用 规则 ， 用 
户 定 可 以 投票 的 ， 那 束 是 : 你 做 你 的 ， 我 不 用 ! ”可 请 轩 及 入 里 。 如 末 
要 用 istream， 我 推荐 的 做 法 是 用 std::getljine0 读 入 一 行 数据 到 std::string， 
然后 用 正则 表达 式 来 判断 内 容 正 误 ， 并 做 分 组 ， 最 后 用 strtod()/strtol0 之 
美的 函数 做 类 型 转换 。 这 样 似乎 更 容易 与 出 健壮 的 程序 。 


:输出 方面 ，ostream 的 格 却 化 输出 非常 烦琐 ， 而 且 写 死 在 代码 里 ， 
不 如 stdio 的 小 语言 那么 灵活 通用 。 建 议 只 用 作 简 单 的 无 格式 输出 。 

:]og 方 面 ， 由 于 ostream 没 有 办 法 在 多 线程 程序 中 保证 一 行 输出 的 完 
整 性 ， 建 议 不 要 直接 用 它 来 写 Ijog。 如 果 是 简单 的 单线 程 程序 ， 输 出 数 
据 量 较 少 的 情况 下 可 以 酌情 使 用 。 产 品 代 人 三 应 诅 用 成 熟 的 logging 库 ， 见 
第 5 章 。 

in-memory 格 式 化 方面 ， 由 于 ostringstream 会 动态 分 配 内 存 ， 它 不 
适合 性 能 要 求 较 高 的 场合 。 

:文件 IO 方面 ， 如 果 用 作文 本 文件 的 输入 或 输出 ，fstream 有 上 述 的 
缺点 ; 如 果 用 作 二 进 制 数据 的 输入 输出 ， 那 么 目 己 简单 封闭 一 个 File 
class 似 乎 更 好 用 ， 也 不 必 为 用 不 到 的 功能 付出 代价 (后 文 还 有 其 体例 
子 ) 。ifstream 的 一 个 用 处 是 在 程序 局 动 时 谈 入 简单 的 文本 配置 文件 。 
如 果 配 置 文件 是 其 他 文本 格式 的 (XML 或 JSON) ， 那 么 用 相应 的 库 来 
谈 ， 也 用 不 到 ifstream。 

:性 能 方面 ，iostream 没 有 兑现 “高 效 性 ” 话 言 2。iostream 在 菜 些 场合 
比 stdio 快 ， 在 某 些 场合 比 stdio 慨 ， 对 于 性 能 要 求 较 遍 的 场合 ， 我 们 应 议 
日 己 实现 字符 串 转 换 ( 见 后 文 的 代 体 与 测试 〉。 


既然 有 这 么 多 局 限 ，iostream 在 实际 项 目 中 的 应 用 就 大 为 受 限 了 ， 
在 这 上 面 投入 太 多 的 精力 实在 不 值得 。 说 实话 ， 我 没有 见 过 哪个 C++ 产 
品 代 但 使 用 iostream 来 作为 输入 和 输出 设施 。Google 的 C++ 编程 规范 也 对 
stream 的 使 用 做 了 明确 的 限制 。 


11.6.5 ”iostream 在 设计 方面 的 缺点 


iostream 的 设计 有 相当 多 的 WTFsa，stackoverflow 有 人 抱怨 说 : “If 
you had to judge by today's software engineering standards, would C++ 'S 
IOStreams still be considered well-designed?”™ 


面 回 对 象 的 设计 
iostream 是 个 面 癌 对 象 的 IO 类 库 ， 本 节 集 单 介 绍 它 的 继承 体系 。 对 


iostream 略 有 了 解 的 人 会 知道 它 用 了 多 重 继 水 和 虚拟 继 天 ， 人 简单 地 男 个 
类 图 如 下 ( 见 图 11-1) ， 这 是 典型 的 葵 形 继承 。 
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图 11-1 


如 果 加 深 一 点 了 解 ， 会 发 现 iostream 现 在 是 模板 化 的 ， 同 时 支持 罕 
字 从 和 和 客 字 和 人 符 。 图 11-2 是 现在 的 继承 体系 ， 同 时 夯 出 了 fstream(s) 利 
stringstream(s)。 图 11-2 中 方 框 的 第 二 三 行 是 模板 的 具 现 化 类 型 ， 即 我 们 
代码 里 常用 的 有 具体 类 型 〈 通 过 typedef 定 义 ) 。 这 个 继承 体系 故 合 了 面 辐 
对 象 与 泛 型 编程 ， 但 可 展 它 两 方面 都 不 讨好 。 
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图 11-2 


再 进一步 加 深 了 解 ， 友 现 还 有 一 个 平行 的 streambuf 继 承 体 系 〈 见 多 
11-3) ，fstream 和 和 stringstream 的 主要 区 列 在 于 使 用 了 不 同 的 streambuf 派 
咎 类 型 。 






basic streambuf<> 
streambuf, wstreambuf 
十 | 人 


basic_stringbuf<> basice filebuf<> 
stringbuf, wstringebuf filebuf, wfilebuf 


图 11-3 


再 把 这 两 个 继承 体系 男 到 一 幅 图 里 ， 如 图 11-4 所 示 。 
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图 11-4 


注意 到 basic_ ios 持 有 了 streambuf 的 指针 而 fstream(s) 和 和 
stringstream(sS) 则 分 别 包 含 filebuf 和 stringbuf 的 对 象 。 看 上 去 有 点 像 Bridge 
模式 \。 

看 了 这 样 “" 巴 洛克 ?的 设计 ， 有 没有 人 还 打算 在 上 自己 的 项 目 中 通过 继 
承 iostream 来 实现 目 己 的 stream， 以 实现 功能 扩展 呢 ? 


面 问 对 象 方面 的 设计 缺陷 


本 节 我 们 分 析 一 下 iostream 的 设计 违反 了 哪些 OO 准则 。 

我 们 知道 ， 面 向 对 象 中 的 public 继 承 需 要 满足 Liskov 蔡 换 原 则 ， 继 
蒜 非 为 复 用 ， 力 为 修复 用 s。 在 程序 里 需要 用 到 ostream 的 地 方 (例如 
operator<<) ， 我 传 入 ofstream 或 ostringstream 都 应 该 能 按 预 期 工作 ， 这 
束 是 OO 继承 强调 的 “可 蔡 换 性 ”， 派 生 类 的 对 象 可 以 硝 换 基 类 对 象 ， 从 
而 被 铬 户 珊 代 代 operator<< 复 用 。 

iostream 的 继承 体系 多 次 违反 了 Liskov 原 则 ， 这 些 地 方 继承 的 目的 
是 为 了 复 用 基 类 的 代码 ， 图 11-5 中 我 把 违规 的 继承 关系 用 虚线 标 出 。 
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在 现 有 的 继承 体系 中 见 图 11-5〉，， 合 理 的 有 有 : 
es ifstream1s-a jstream ss jstringstream 1s5-a jstream 
® ofstream is5-a 0stream es Oostringstream is-a ostream 
es fstream1s-a iostream es stringstream 1s-a iostream 


我 认为 不 怎么 合理 的 有 : 


.jos 继承 ios_ base。 有 没有 哪 种 情况 下 函数 期 待 ios_ base 对 象 ， 但 是 
客户 可 以 传 入 一 个 ios 对 象 符 代 之 ? 如 果 没 有 ， 这 里 用 public 继 承 是 不 是 
违反 OO 原则 ? 

istream 继 承 ios。 有 没有 哪 种 情况 下 图 数 期 竺 jos 对象， 但 是 客户 可 
以 传 入 一 个 istream 对 象 蔡 代 之 ? 如 果 疫 有 ， 这 里 用 public 继 水 是 不 是 违 
反 OO 原 则 ? 


:0Sstream 继 承 ios。 有 没有 哪 种 情况 下 数 期 符 ios 对 象 ， 但 是 客户 可 
以 传 入 一 个 ostream 对 象 蔡 代 之 ? 如 果 没 有 ， 这 里 用 public 继 承 是 不 是 违 
反 OO 原 则 ? 
:iostream 多 重 继承 istream 和 ostream。 为 什么 iostream 要 同时 继承 两 
个 noninterfaceclass? 这 是 接口 继承 还 是 实现 继承 ? 是 不 是 可 以 用 组 合 
(composition〉 来 符 代 ? 3 


用 组 合 和 


1stream 108 | OSIream 


如 总 





10stream 


“| 


ifstream fstream | ofstream 


1stringstream stringstream ostringstream 





图 11-6 


注意 到 在 新 的 设计 中 ， 只 有 真正 的 is-a 关系 采用 了 public 继 承 ， 其 
他 均 以 组 合 来 代 蔡 ， 组 合 关 系 以 委 形 神 关 表示。 新 的 设计 没有 使 用 虚拟 
继承 或 多 和 曹 继承。 

其 中 iostream 的 新 实现 值得 一 提 ， 代 码 结 构 如 下 : 


class istream: 
class ostream: 


class liostream 


{ 

public: 
istream& get_istream(): 
ostream& get_ostream(): 
virtual ~iostream(): 


ER eg 
}; 

这 样 一 来 ， 在 需要 iostream 对 象 表现 得 像 istream 的 地 方 ， 调 用 
get_istreamg0 函 数 返 回 一 个 istream 的 引用 ; 在 需要 iostream 对 象 表现 得 像 
ostream 的 地 方 ， 调 用 get_ostreamg0 郴 数 返 回 一 个 ostream 的 引用 。 功 能 不 
受 影响 ， 而 且 代 码 更 清晰 ，istream 和 ostream 也 不 必 使 用 虚拟 继承 了 。 

(我 非常 怀疑 iostream class 的 真正 价值 ， 一 个 东西 既 可 恋 叉 可 写 ， 说 明 
它 是 一 个 Sophisticated IO 对 象 ， 为 什么 还 用 这 么 厚 的 OO 封装 ? ) 


阳春 的 locale 


iostream 的 故事 还 不 止 这 些 ， 它 还 包含 一 依 阳 春 的 locale/facet 实 现 ， 
这 和 套 实 践 中 没 人 用 的 东西 进一步 增加 了 了 iostream 的 复杂 上 度 ， 而 且 不 可 如 
免 地 影响 其 性 能 。Nathan Myers 正 是 其 始作俑者 3。 
本 ostream 目 里 定 义 的 针对 整数 和 浮 点 数 的 operator<< 成 员 函 数 的 函数 
ZE: 


ostream& ostream: :operator<<(int val) // 或 double val 


bool failed = 
use_facet<num_put>(getloc()) .put( 
ostreambuf_iterator(*xthis), *this, fill), val).failed(): 
天 二 


它 会 调用 num_put::put()， 后 者 会 去 调用 num_put::do_putO0， 而 
do_put0) 是 个 虚 函 数 ， 没 办 法 inline。iostream 在 性 能 方面 的 不 足 恐 怕 部 分 
来 日 于 此 。 这 个 虚 函 数 日 日 浪 络 了 把 template 的 实现 放 人 到头 文 件 应 得 的 
好 处 ， 编 译 和 运行 速度 都 快 不 起 来 。 这 残 是 我 说 iostream 在 泛 型 方面 不 
讨好 的 原因 。 

我 没有 深入 挖掘 其 中 的 细 市 ， 感 兴趣 的 读者 可 以 移 步 观看 facet 的 继 


其 体系 : 
http://gcc.gnu.org/onlinedocs/libstdc++/libstdc++-html-USERS-4.4/a00431.html 


据 此 分 析 ， 我 不 认为 以 iostream 为 基础 的 上 层 程 序 库 (比方 说 那些 
克服 iostream 格 式 化 方面 的 缺点 的 库 ) 有 多 大 的 实用 价值 。 


脐 霹 抽象 


志 宕 评价 “iostream 最 大 的 缺点 是 腾 造 抽象 ”， 我 非常 赞同 他 的 观 
pts 

这 个 评价 同样 适用 于 Java 那 一 套 “ 琶 床 染 屋 ” 的 InputStream、 
OutputStream、Reader、Writer 继 了 厌 体 系 ，.NET 也 搞 了 这 么 一 人 尽 汉 文 组 


1 

乍 看 之 下 ， 用 input stream 表 未 一 个 可 以 “ 读 ” 的 数据 流 ， 用 output 
stream 表 不 一 个 可 以 “号 ”的 数据 流 ， 屏 蔽 确 层 细 广 ， 面 辣 接 口 编程 ,，“ 符 
合 面 问 对 象 原则 ”， 似 乎 是 一 件 美 妙 的 事情 。 但 是 ， 真 实 的 世界 要 残酷 
得 多 。 

IO 是 个 极度 复 条 的 东西 ， 束 拿 最 弟 见 的 memory stream、file 
stream、 socket stream 来 说 ， 它 们 之 间 的 差异 极 大 : 


:是 单 问 IO 还 是 双 同 IO。 只 读 或 者 只 与 ? 还 是 既 可 读 又 可 写 ? 

:顺序 访问 还 是 随机 访问 。 可 不 可 以 seek? 可 不 可 以 退回 n 字 节 ? 

:文本 数据 还 是 二 进 制 数 据 。 输 入 数据 格式 有 误 怎 么 办 ? 如 何 编写 
健壮 的 处 理 输入 的 代码 ? 

:有 无 缓冲 。write 500 字 节 是 合 能 保证 完全 写 入 ? 有 没有 可 能 只 写 入 
了 300 字 节 ? 余下 200 字 节 怎 么 办 ? 

:是 否 阻 塞 。 会 不 会 返回 EWOULDBLOCK 错 误 ? 

:有 哪些 出 错 的 情况 。 这 是 最 难 的 ，memory stream 儿 乎 不 可 能 
错 ，file stream 和 socket stream 的 出 销 情 况 完 全 不 同 。socket stream 可 能 过 
到 对 方 断 开 连 接 ，file stream 可 能 遇 到 超出 磁盘 配额 。 


根据 以 上 列举 的 初步 分 析 ， 我 不 认为 有 办 法 设计 一 个 公共 的 基 类 把 
各 方面 的 情况 都 考虑 周全 。 各 种 IO 设施 之 间 共 性 太 小 ， 甜 异 太 大 ， 例 外 
太 多 。 如 果 便 要 用 面 同 对 象 来 建 模 ， 基 类 要 么 太 瘦 (只 放 共 性 ， 这 个 基 
类 包含 的 interface functions 疫 多 大 用 ) ， 要 么 太 肥 《把 各 种 IO 设施 的 特 
性 都 包含 进来 ， 这 个 基 类 包含 的 interface functions 很 多 ， 但 是 不 是 每 一 
个 都 能 调用 ) 。 


一 个 基 类 设计 得 好 ， 大 家 才 愿 意 去 继承 它 。 比 如 Runnable 是 个 很 好 
的 抽象 ， 有 不 计 其 数 的 实现 。InputStream/OutputStream 好 销 也 有 若干 个 
实现 〈 见 图 11-7) 。 反 观 istream/ostream， 只 有 标准 库 提 供 的 两 套 默 认 
实现 ， 在 项 目 中 极 少 有 人 会 去 继承 并 扩展 它 ， 是 不 是 说 明 
istreamy/ostream 这 一 父 抽 象 不 怎么 好 使 呢 ? 
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图 11-7 


当然 ， 假 如 Java 有 C++ 那样 强大 的 template 机 制 ， 图 11-7 中 的 继承 体 

系 能 向 化 不 少 。 
石 要 在 C 语 言 里 解决 这 个 问题 ， 通 和 党 的 办 法 是 用 一 个 int 表 示 IO 对 象 
(file 或 PIPE 或 socket) ， 人 然后 配 以 readO/write(/lseek(0O/fcntl0 等 一 系列 全 
局 冰 数 ， 程 序 员 目 己 搭配 组 合 。 这 个 做 法 我 认为 比 面 同 对 象 的 方案 要 条 


J 七- 膏 - 访 


洁 疝 效 。 

iostream 在 性 能 方面 没有 比 stdio 高 多 少 ， 在 健壮 性 方面 多 半 不 如 
stdio， 在 灵活 性 方面 受制 于 本 时 的 复 林 人 设计 而 难以 让 使 用 者 目 行 扩 展 。 
目前 看 起 来 只 适合 一 些 价 单 的 、 要 求 不 高 的 应 用 ， 但 是 又 不 得 不 为 它 的 
复 末 设计 付出 运行 时 人 代价， 总之， 其 定位 有 点 不 上 不 下 。 

在 实际 的 项 目 中 ， 我 们 可 以 提炼 出 一 些 简 里 融 效 的 strip-down 版 
本 ， 在 获得 便利 性 的 同时 避免 付出 不 必要 的 代价 。 


11.6.6 一 个 300 行 的 memory buffer output stream 


我 认为 以 operator<< 来 输出 数据 非常 适合 logging〈 见 第 5 革 ) ， 因 此 
写 了 一 个 简单 的 muduo::LogStream class。 代 码 不 到 300 行 ， 完 全 独立 于 
iostream， 位 于 muduo/base/LogStream.{h,cc] 。 

这 个 LogStream 做 到 了 类 型 安全 和 类 型 可 扩展 ， 效 率 也 较 高 。 它 不 
支持 定制 格式 化 、 不 支持 locale/facet、 没 有 继承 、buffer 也 没有 继承 与 虚 
函数 、 没 有 动态 分 配 内 和 存 、buffer 大 小 固定 。 人 简单 地 说 ， 适 合 logging 以 
及 简单 的 字符 串 转 搞 。 这 基本 上 是 Bjarne 在 1984 年 写 的 ostream 的 翻版 。 

LogStream 的 接口 定义 如 下 : 


class Buffer: 


class LogStream : 


{ 


public: 


boost: :noncopyable 


typedef LogStream Self ; 


selfa 


self& 
selfa& 
self& 
selfa 
self& 
selfa& 
self& 
selfa 


selfa 
selfa 
self& 


operator<<(bool): 


operator<<(short): 
operator<<(unsigned short); 
operator<<(1nt): 
operator<<(unsigned int); 
operator<<(long): 
operator<<(unsigned long): 
operator<<(long loneg): 
operator<<(tunsigned long long); 


operator<<(const voldx): 
operator<<(float):; 
operator<<(double).: 


// self& operator<<(long double); 


self& 


operator<<(char): 


// self& operator<<(signed char):; 
/t+ self& operator<<(unsigned char ) ; 


self& operator<<(const char*): 
self& operator<<(const string&); 


vold append(const charx data, int len); 
const Buffer& bufferfty const { return buffer_: } 
void resetBuffer() { buffer_.reset(); } 


private: 
Buffer buffer_: 


pF 
LogStream 本 吴 不 是 线程 安全 的 ， 它 不 适合 做 线程 间 的 共享 对 象 。 

正确 的 使 用 方式 是 每 条 log 消 恩 构 造 一 个 LogStream， 用 完 残 扔 。 

LogStream 的 成 本 极 低 ， 这 么 做 不 会 有 什么 性 能 损失 。 


整 效 到 字符 串 的 高 效 转换 


muduo::LogStream 的 整数 转换 是 目 己 写 的 ， 用 的 是 Matthew Wilson 
的 算法 ， 见 812.3“ 市 符号 整数 的 除法 与 余数 "”。 这 个 算法 比 stdio 和 
iostream 都 要 快 。 


浮 点 数 到 字符 种 的 高 效 转换 


目前 muduo::LogStream 的 泽 点 数 格 式 化 采用 的 是 snprintf()。 所 以 从 
性 能 上 与 stdio 持 平 ， 比 ostream 快 一 些 。 

浮 点 数 到 字符 串 的 转换 是 个 复杂 的 话题 ， 这 个 领域 20 年 以 来 没有 什 
么 进展 (目前 的 实现 大 都 基于 David M. Gay 在 1990 年 的 工作 : 

《Correctly Rounded BinaryDecimal and Decimal-Binary Conversions》 ， 
代码 : http://netlib.org/fp/ ) ， 直 到 2010 年 才 有 突破 。 

Florian Loitsch 及 明了 新 的 更 快 的 算法 Grisu3， 他 的 论文 《Printing 
floatingpoint numbers quickly and accurately with integers》 及 表 在 PLDI 
2010， 代 码 见 Google V8 引 擎 以 及 
http://code.google.com/p/double-conversion/ 。 有 兴趣 的 读者 可 以 阅读 这 篇 
博客 #。 

将 来 muduo::LogStream 可 能 会 改 用 Grisu3 算 法 实现 浮 点 数 转 换 。 


性 能 对 比 


由 于 muduo::LogStream 抛 挥 了 很 多 人 负担 ， 因 此 可 以 预见 它 的 性 能 好 
于 ostringstream 和 stdio。 我 做 了 一 个 简单 的 性 能 测试 ， 结 采 如 表 11-1 和 
表 11-2 所 示 。 表 11-1 和 表 11-2 中 的 数字 是 打印 1000000 次 的 用 时 ， 以 坚 秘 
为 单位 ， 越 小 越 好 。 
表 11-1 64-bit 测 试 结果 


snprintf ostringstream Logstream 


int 499 363 113 
double 2315 3835 2338 
int64_t 486 347 145 
vOid* 419 330 47 





























表 11-2”32-bit 测 试 结 果 


snprintf oOstringstream LogSstream 
int 544 453 ll6 


double 2241 4030 2267 
int64 725 958 654 
V 吕 dd 大 日 9 425 05 


从 表 11-1 和 表 11-2 看 出 ，ostreamstream 有 时 候 比 SnprintfO 快 ， 有 时 
候 比 它 慢 ，muduo::LogStream 比 它们 两 个 都 局 得 多 〈double 类 型 除 
外 ) 。 


泛 型 编程 


其 他 程序 库 如 何 使 用 LogStream 作 为 输出 昵 ? 办 法 很 简单 ， 用 模 
到 。 

前 面 我 们 定义 了 Date class 针 对 std::ostream 的 operator<<， 只 要 稍 作 
修改 就 能 同时 适用 于 std::ostream 和 LogStream。 而 且 Date 的 头 文 件 不 再 


需要 其 nclude<ostream>， 降低 了 耦合 。 


// 不 几 人 包 侣 LogStream 或 ostream 头 文 件 
class Date 


L 
public: 
Date(int year, int month, int day).; 


void writeTo(std: :ostream& os) const 
template<typename OStream> 
+ void writeTo(OStream& os) const 


char buf[32j: 
snprintf(buf, sizeof buf, "%d-%02d-%@2d", year_, month_, day_):; 
os << buf:; 


} 


private: 
Int year_, month_, day_: 


有 


-std: :ostream& operator<<(std::ostream& 0S，Const Datek date) 
t+template<typename OStream> 
+O0Stream& operator<<(QStream& os, const Date& date) 


{ 
date.writeTo(os): 
return os， 


} 
格式 化 


muduo::LogStream 本 号 不 文 持 格 式 化 ， 不 过 我 们 很 容易 为 它 做 扩 
展 ， 定 义 一 个 简单 的 FEmt class 束 行 ， 而 且 不 影 啊 stream 的 状态 。 


class Fmt : boost: :noncopyable 


\ 

public: 
template<typename T> 
Fmt(const char fmt, T val) 


BOOST_STATIC_ASSERT(boost::1is_arithmetic<T>: :value == true): 
length_ = snprintf(buf_, sizeof buf_, fmt, val): 
} 


const charx data() const { return buf_:; } 
int Lengthft7y const { return length_: } 


private: 
char buf_[32]: 
int length_: 
和 


inline Logstream& operator<<{(LogStream& os, const Fmt& fmt ) 


{ 
os.append(fmt.data(}), fmt.lengthO): 
return s; 


} 
使 用 方法 : 

LogSstream 0s: 

double x = 19.82. 

int Y = 443: 

os << Fmt("%8.3f", x) << Fmt("%dd", yy: 


11.6.7 ”现实 的 C++ 程 序 如 何 做 文件 IO 


下 面 举 三 个 例子 ，Google Protobuf Compiler、Google leveldb、 
Kyoto Cabinet。 


Google Protobuf Compiler 


Google Protobuf 坪 一 种 局 效 的 网 络 传输 格式 ， 它 用 一 种 协议 播 述 语 
言 来 定义 消息 格式 ， 并 且 目 动 生 成 序列 化 代码 。Protobuf Compiler 古 这 
种 “协议 摘 述 语言 > 的 编 详 器 ， 它 谈 入 协议 文件 .proto， 编 详 生成 C++、 


Java、Pvython 人 代码 。proto 文 件 是 个 文本 文件 ， 然 而 Protobuf Compiler 并 
没有 使 用 ifstream 来 谈 取 它 ， 而 是 使 用 了 目 己 的 FileInputStream 来 谈 取 文 


件 。 
大 致 代 但 流程 如 下 : 


1. ZeroCopyInputStreamz 是 一 个 抽象 基 类 。 

2. FileInputStream2 继 承 并 实现 了 ZeroCopyInputStream 。 

3. Tokenizer3 是 词法 分 析 器 ， 它 把 proto 文 件 分 解 为 一 个 个 字 元 

(token) 。Tokenizer 的 构造 疯 数 以 ZeroCopyInputStream 为 参数 ， 从 读 

stream 奕 入 文本 。 

4. Parser* 是 语法 分 析 右 ， 它 把 proto 文 件 解 析 为 语法 树 ， 以 
FileDescriptorProto 表 示 。Parser 的 构造 函数 以 Tokenizer 为 参数 ， 从 它 读 
入 字 元 。 


由 此 可 见 ， 即 便 是 谈 取 文本 文件 ，C++ 程 序 也 不 一 定 要 用 ifstream。 
Google leveldb 


Google leveldb 是 一 个 高 效 的 持久 化 key-value db。: 它 定义 了 三 个 精 
简 的 interface 用 于 文件 输入 输出 : 


9eduentialFijle 


‘RandomAccessFile 
‘WritableFile 


接口 函数 如 下 : 


struct Slice f 
const char* data_: 
slZe_t slze_: 


}; 


/i ATfile abstraction for reading sequyuentially through a file 
class SequentialFfile { 

public: 

SequentialFfile() { } 

virtual ~SequentialFfiler): 


virtual status Read(size_t n, Slicex resuyult, char* scratch) = 
virtual Status Skip(uint64_t ny = @: 
}; 


:/: A file abstraction for randomly reading the contents of a file. 
class RandomAccessFile 1{ 

publ1ic: 

RandomAccessFile() { } 

virtual ~RandomAccessFile(): 


Virtual Status Read(uint64_t offset, size_t n, Slice* result, 
char* scratch}) const = 9; 


地 


7/ ATfile abstraction for sequential writing. The implementation 
/i: must provide buffering since callers may append small fragments 
//: at a time to the file. 
class WritableFile { 

public: 

WritableFile(}Y { } 

virtual ~WritableFile(): 


virtual Status Append(const Slice& data} = 日 ; 
virtual Status Close(y = %: 

virtual Status Flush() = %; 

virtual Status Sync(y = 


二 


leveldb 明 确 区 分 input 和 和 output， 并 进一步 把 input 分 为 gun 
random access， 然 后 迫 炼 出 了 三 个 简单 的 接口 ， 每 个 接口 只 有 屈指 可 数 
的 几 个 函数 。 这 几 个 接口 在 各 个 平台 下 的 实现 也 非 间 简单 明了 了 2， 一 看 


束 异 。 

注意 这 三 个 接口 使 用 了 虚 函 数 ， 我 认为 这 是 正当 的 ， 因 为 一 次 IO 人 往 
往 伴 随 着 系统 调用 和 context switch， 虐 函数 的 开销 比 起 context switch 来 
可 以 忽略 不 计 。 相 反 ，iostream 每 次 operator<<() 束 调用 虚 函 数 ， 似 乎 不 
太 明 智 。 


Kyoto Cabinet 


Kyoto Cabinet 也 是 一 个 key-value db， 是 前 几 年 流行 的 Tokyo Cabinet 
的 升级 版 。 它 采用 了 与 leveldb 不 同 的 文件 抽象 。KC 定 义 了 一 个 File 
class， 同 时 包含 了 恋 与 操作 ， 这 古 一 个 fat interface。“ 在 具体 实现 方 
面 ， 它 没有 使 用 虐 函 数 ， 而 是 采用 划 fdef 来 区 分 不 同 的 平台 s， 等 于 把 两 
份 独立 的 代码 与 到 了 同一 个 文件 中 。 

相 比 之 下 ，Google leveldb 的 做 法 更 高 明 一 些 。 


小 结 


在 C++ 项 目 中 ， 目 己 写 个 File class， 把 项 目 用 到 的 文件 IO 功能 简单 
封装 一 下 〈 以 RAII 手 法 封装 FILE* 或 者 fie descriptor 都 可 以 ， 视 情况 而 
定 ) ， 通 音 殉 能 满足 需要 。 记 得 把 找 贝 构造 和 赋值 操作 符 茶 用 ， 在 析 构 
国 数 里 释放 资源 ， 避 免 泄 露 内 部 的 handle， 这 样 束 能 自动 避免 很 多 C 语 
言 文件 操作 的 币 见 锈 误 。 

如 果 要 用 stream 方 式 做 logging， 可 以 抛 开 繁 重 的 iostream， 自 己 写 一 
个 简单 的 LogStream， 重 载 几 个 operator<< 操 作 符 ， 用 起 来 一 样 方便 :而 
上 且 可 以 用 stack buffer， 轻 松 做 到 线程 安全 与 高 效 。 见 第 5 草 。 


11.7 值 语 义 与 数据 抽象 


本 文 是 $11.6“iostream 的 用 途 与 局 限 ” 的 后 续 ， 在 $11.6.3“iostream 与 
标准 库 其 他 组 件 的 交互 > 中， 我 简单 地 捉 到 了 了 iostream 对 象 和 C++ 标准 库 
中 的 其 他 对 象 〈 主 要 是 容器 和 string) 具有 不 同 的 语义 ， 主 要 体现 在 
iostream 不 能 揽 贝 或 赋值 。 下 面具 体 谈 一 谈 我 对 这 个 问题 的 理解 。 

本 文 的 “对 象 ” 定 义 较为 宽泛 : aregion of memory that has atype， 在 
这 个 定义 下 ，int、double、bool 变 量 都 是 对 象 。 


11.7.1 什么 是 值 语 义 


值 语义 (value semantics) 指 的 是 对 象 的 找 贝 与 原 对 象 无 关 *， 驶 像 
搁 贝 nt 一样 。C++ 的 内 置 类 型 (bool/int/double/char〉 都 是 值 语义 ， 标 准 
库 里 的 complex<>、Ppair<>、vector<>、map<>、string 等 等 类 型 也 都 是 值 
语意 ， 找 由 之 后 束 与 原 对 象 脱离 关系。Java 语 言 的 primitive types 也 是 值 
I 

与 值 语 义 对 应 的 是 “对 象 语 义 (object semantics) ”， 或 者 叫做 引用 
语义 (reference semantics) ， 由 于 “引用 ”一 词 在 C++ 里 有 特殊 含义 ， 所 
以 我 在 本 文中 使 用 “对 象 语义 ”这 个 术语 。 对 象 语义 指 的 是 面 同 对 象 意义 
下 的 对 象 ， 对 象 找 贝 是 禁止 的 。 例 如 muduo 里 的 Thread 是 对 象 语义 ， 找 
内 Thread 是 无 意义 的 ， 也 是 被 禁止 的 :因为 Thread 代 表 线 程 ， 找 贝 一 个 
Thread 对 象 并 不 能 让 系统 增加 一 个 一 模 一 样 的 线程 。 

同样 的 道理 ， 搁 贝 一 个 Employee 对 象 是 没有 意义 的 ， 一 个 雇员 不 会 
赤 成 两 个 雇员 ， 他 也 不 会 领 两 份 菜 水 。 找 贝 TcpConnection 对 象 也 没有 意 
义 ， 系 统 中 只 有 一 个 TCP 连 接 ， 找 风 TcpConnection 对 象 不 会 让 我 们 拥有 
两 个 连接 。Printer 也 是 不 能 找 贝 的 ， 系 统 只 连接 了 一 个 打印 机 ， 找 由 
Printer 并 不 能 和 凭空 增加 打印 机 。 几 此 总 忌 ， 面 同 对 象 意 义 下 的 “对 象 ” 是 
non-copyable。 


Java 中 的 class 对 象 都 是 对 象 语 义 / 引用 语义 。 


ArrayList<Integer> a new ArrayList<Ilnteger>(). 
ArrayList<Integer> b = a:; 
那么 a 和 b 指 同 的 是 同一 个 ArrayList 对 象 ， 修 改 a 同 时 也 会 影响 b。 

值 语义 与 mmutable 无 天 。Java 有 有 value object 一 说 ， 按 (PoEAA 
486) 的 定义 ， 它 实际 上 是 immutableobject， 例 如 String、Integer、 
BigInteger、joda.time.DateTime 等 等 (因为 Java 没 有 办 法 实现 真正 的 值 语 
义 class， 只 好 用 immutable object 来 模拟 ) 。 尽 管 immutable object 有 其 日 
号 的 用 处 ， 但 不 是 本 文 的 主题 。muduo 中 的 Date、Timestamp 也 都 是 
immutable 的 。 

C++ 中 的 值 语义 对 象 也 可 以 是 mutable， 比 如 complex<>、pair<>、 
vector<>、map<>、string 痢 是 可 以 修改 的 。muduo 的 InetAddress 和 Buffer 
部 其 有 值 语义 ， 它 们 部 是 可 以 修改 的 。 

值 语义 的 对 象 不 一 定 是 POD， 例 如 string 束 不 是 POD， 但 它 古 值 语 


义 的 。 
值 语 义 的 对 象 不 一 定 小 ， 例 如 vector<int> 的 元 素 可 多 可 少 ， 但 它 始 
终 是 介 语 义 的 。 当 然 ， 很 多 值 语 义 的 对 象 午 是 小 的 ， 例 如 complex<>、 


muduo::Date、muduo:: Timestamp。 


11.7.2 ” 值 语 义 与 生命 其 


值 语 义 的 一 个 巨大 好 处 是 生命 期 管理 很 答 单 ， 丈 跟 int 一 样 你 不 
需要 操心 int 的 生命 期 。 值 语义 的 对 象 要 么 是 stack object， 要 么 直接 作为 
其 他 object 的 成 员 ， 因 此 我 们 不 用 担心 它 的 生命 期 〈 一 个 函数 使 用 目 己 
stack 上 的 对 象 ， 一 个 成 员 函 数 使 用 目 己 的 数据 成 员 对 象 ) 。 相 反 ， 对 和 象 
语义 的 object 由 于 不 能 拷贝 ， 因 此 我 们 只 能 通过 指针 或 引用 来 使 用 它 。 

一 旦 使 用 指针 和 引用 来 操作 对 象 ， 那 么 就 要 担心 所 指 的 对 象 是 否 已 
伏 释 放 ， 这 一 度 是 C++ 程序 bug 的 一 大 来 产 。 上 此外， 由 于 C++ 只 能 通过 指 
针 或 引用 来 获得 多 态 性 ， 那 么 在 C++ 里 从 事 基 于 继 水 和 多 态 的 面 回 对 象 
编程 有 其 本 质 的 困难 对 象 生 命 期 管理 〈 资 源 管 理 ) 。 

考虑 一 个 简单 的 对 象 建 模 一 一 家 长 与 子女 : a Parent has a Child, a 
Child knows its Parent。 在 Java 中 很 好 写 ， 不 用 担心 内 存 汇 漏 ， 也 不 用 担 
心 空 合 指 针 : 











java code 
public class Parent 
private Child myChild: 
} 
public class Child 
{ 
private Parent myParent ; 
} 
一 Java code 


只 要 正确 初始 化 myChild 和 myParent， 那 么 Java 程 序 员 就 不 用 担心 出 
现 访 问 销 误 。 一 个 handle 是 个 有 效 ， 只 需要 判断 其 是 人 否 non null。 

在 C++ 中 区 要 为 资源 管理 费 一 番 脑 筋 : Parent 和 Child 都 代表 的 是 真 
人 ， 肯 和 是 是 不 能 揽 贝 的 ， 因 此 具有 对 象 语义 。Parent 是 直接 持 有 Child 
吗 ? 抑或 Parent 和 Child 通 过 指针 互 指 ? Child 的 生命 期 由 Parent 控 制 吗 ? 
如 果 还 有 ParentClub 和 School 两 个 class， 分 别 代 表 家 长 俱乐部 和 学 校 : 
ParentClub has many Parent(S)， School has many Child(ren)， 那 么 如 何 保 
证 它们 始终 持 有 有 效 的 Parent 对 象 和 Child 对 象 ? 何 时 才能 安全 地 释放 
Parent 和 Child?” 

直接 但 是 易 错 的 写法 : 


C++ Code 
class Child: 


class Parent : boost::noncopyable 


Child* myChild; 


hn 
class Child : boost::noncopyable 
{ 
Parent* myParent:; 
上 


C++ code 


如 于 百 接 使 用 指针 作为 成 员 ， 那 么 如 何 确 保 指 针 的 有 效 性 ? 如 何 防 
止 出 现 空 合 指针 ? Child 和 Parent 由 谁 负责 释放 ? 在 释放 菜 个 Parent 对 象 
的 时 候 ， 如 何 确 你 程序 中 没有 指 同 它 的 指针 ?那么 释放 菏 个 Child 对 象 
的 时 候 呢 ? 

这 一 系列 问题 一 度 是 C++ 面 回 对 象 编程 头疼 的 问题 ， 不 过 现在 有 了 
smart pointer， 我 们 可 以 借助 smart pointer 把 对 象 语义 转换 为 值 语义 2， 

从 而 轻松 解决 对 象 生命 期 问题 : 让 Parent 持 有 Child 的 smart pointer， 同 时 
让 Child 持 有 Parent 的 smart pointer， 这 样 始终 引用 对 方 的 时 候 殴 不 用 担心 
出 现 至 全 指针。 当然 ， 其 中 一 个 smart pointer 应 该 是 weak reference， 合 
则 会 出 现 循环 引用 ， 导 致 内 存 汇 漏 。 到 底 哪 一 个 是 weak reference， 则 取 
决 于 其 体 应 用 场景 。 

如 果 Parent 拥 有 Child，Child 的 生命 期 由 其 Parent 控 制 ，Child 的 生命 
期 小 于 Parent， 那 么 代码 束 比 较 人 简单 : 


class Parent: 


class Child : boost::noncopyable 
{ 
public: 
explicit Child(Parent* myParent_) 
: myParent(myParent_) 
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private: 
Parent* myParent: 


}; 


class Parent : boost::noncopyable 
{ 
public: 
Parent() 
: myChild(new Child(this)) 
{ } 
private: 
boost: :scoped_ptr<Child> myChild: 
}; 
在 上 和 面 这 个 设计 中 ，Child 的 指针 不 能 泄露 给 外 界 ， 否 则 仍然 有 可 
能 出 现 空 巧 指针 。 
如 果 Parent 与 Child 的 生命 期 相互 独立 ， 就 要 麻烦 一 些 : 


class Parent; 
typedef boost: :shared_ptr<Parent> ParentPtr ; 


class Child : boost: :noncopyable 


\ 
public: 
explicit Child(const ParentPtr& myParent_) 
: myParent(myParent_) 


( } 


private: 
boost: :weak_ptr<Parent> myParent: 
}; 
typedef boost::shared_ptr<child> Childptr.; 


class Parent : public boost::enable_shared_from_this<Parent>, 
private boost::noncopyable 


\ 
public: 


Parent() 
C3 


vold addChildt) 


myChild.reset(new Childtshared_from_this())); 
了 


private: 
childPtr myChild; 
站 


Int main() 


ParentPtr p(tnew Parent); 
p->addChild(O): 
+ 


上 和 面 这 个 shared_ptr 十 weak_ptr 的 做 法 似乎 有 点 小 题 大 做 。 


考虑 一 个 稍微 复杂 一 点 的 对 象 模型 : “a Child has parents: mom and 
dad; a Parent has one or more Child(ren); a Parent knows his/her spouse.” 这 


个 对 象 模型 用 Java 表 述 一 点 部 不 复 来 ， 垃 圾 收集 会 帮 我 们 搞定 对 象 生命 


期 。 


java code 
public class Parent 
{ 
private Parent mySpouse ; 
private ArrayList<Child> myChildren:;: 
} 
public class Child 
{ 
private Parent myMom; 
private Parent myDad 
上 
Java code 


如 果 用 C++ 来 实现 ， 如 何 才 能 避免 出 现 空 晤 指针 ， 同 时 避免 出 现 内 
存 泄漏 呢 ? 借助 shared_ptr 把 裸 指 针 转 换 为 值 语 义 ， 我 们 就 不 用 担心 这 
两 个 问题 了: 


- (++ code 
class Parent: 
typedef boost: :shared_ptr<Parent> ParentPtr; 


class Child : boost: :noncopyable 
{ 
public: 
explicit Child(const ParentPtr& myMom_, 
const ParentPtr& myDad_) 
: myMom(myMom_), 
myDad(myDad_) 
t 
} 


private: 
boost: :weak_ptr<Parent> myMom: 
boost: :weak_ptr<Parent> myDad; 
}; 
typedef boost::shared_ptr<Child> ChildPtr; 


class Parent : boost::noncopyable 
{ 

public: 

Parent() 

t 

上 


vold setSpouse(const ParentPtr& spouse) 


{ 
mySpouse = spouse: 


} 
vold addChild(const ChildPtr& child) 


myChildren.push_backtchild); 
} 


private: 
boost: :weak_ptr<Parent> mySpouse: 
std: :vector<ChildPtr> myChildren: 
上 


int main() 
{ 
ParentPtr mom(new Parent): 
ParentPtr dad(new Parent): 
mom->setSpouse (dad): 
dad->setSpouse (mom): 
{ 
childPtr child(new Child(mom, dad))}): 
mom->addCchild(child): 
dad->addChild(child): 


Nd 


childPtr childtnew Child(moem, dad)}: 
mom->addChild(child): 
dad->addChild(child)y: 


C++ COde 


如 果 不 使 用 smart pointer， 用 C++ 做 面 同 对 象 编 程 将 会 困难 重重 。 
11.7.3” 值 语义 与 标准 库 


C++ 要 求 凡 是 能 放 入 标准 容器 的 类 型 必须 具有 值 语 义 。 堆 确 地 说 : 
type 必 须 是 SGIAssignable concept 的 model。 但 是 ， 由 于 C++ 编译 堪 会 为 
class 默 认 提 供 copy constructor 和 assignment operator， 因 此 除非 明确 禁 
止 ， 人 否则 class 总 是 可 以 作为 标准 库 的 元 素 关 型 一 一 尽管 程序 可 以 编 详 通 
过 ， 但 是 隐 医 了 资源 管理 方面 的 bug。 

因此 ， 在 写 一 个 C++ class 的 时 候 ， 让 它 默 认 继 承 
boost::noncopyable， 几 乎 总 是 正确 的 。 

在 现代 C++ 中 ， 一 般 不 需要 目 己 编写 copy constructor 或 assignment 
operator， 因 为 只 要 每 个 数据 成 员 都 具有 值 语 义 的 话 ， 编 详 硕 目 动 生成 
的 member-wise copying& assigning 束 能 正常 工作 ;， 如 果 以 smart ptr 为 成 
员 来 持 有 其 他 对 象 ， 那 么 束 能 目 动 局 用 或 蔡 用 copying & assigning。 例 
外 : 编 瑟 HashMap 这 类 后 层 库 时 还 是 需要 自己 实现 copy control。 


11.7.4 ” 值 语 义 与 C++ 语 译 


C++ 的 class 本 质 上 是 值 语 义 的 ， 这 才 会 出 现 object slicing 这 种 语言 独 
有 的 问题 ， 也 才 会 需要 程序 员 注 意 pass-by-value 和 pass-by-const-reference 
的 取舍 。 在 其 他 面 回 对 象 编程 语言 中 ， 这 都 不 需要 忱 脑筋 。 

值 语 义 是 C++ 语言 三 大 约束 之 一 ，C++ 的 设计 初 详 是 让 用 户 定 义 的 


类 型 (class) 能 像 内 置 类 型 (Cint) 一 样 工 作 ， 有 具有 同等 的 地 位 。 为 此 
C++ 做 了 以 下 设计 〈 艾 协 ) : 


:class 的 layout 与 C struct 一 样 ， 没 有 和 后 外 的 开销 。 定 义 一 个 “只 包含 
一 个 int 成 员 的 class” 的 对 象 开销 和 定义 一 个 int 一 样 。 

:其 至 class data member 都 默认 是 uninitialized， 因 为 函数 局 部 的 int 也 
是 如 此 。 

:class 可 以 在 stack 上 创建 ， 也 可 以 在 heap 上 创建 。 因 为 int 可 以 征 
stack varliabje。 

:class 欠 数组 就是 一 个 个 class 对 象 摊 凑 ， 没 有 和 额外 的 indirection。 
PO 的 。 因 此 派生 类 数组 的 指针 不 能 安全 转换 为 基 类 指 


编译 妖 会 为 class 上 默认 生成 copy constructor 和 assignment operator。 其 
他 语言 没有 copy constructor 一 说 ， 也 不 允许 重 载 assignment operator。 
C++ 的 对 象 默认 是 可 以 找 贝 的 ， 这 和 古 一 个 利诱 的 符 性 。 

: 当 class type 传 入 函数 时 ， 默 认 是 make a copy《〈 除 非 参 数 声明 为 
reference) 。 因 为 把 int 传 入 函数 时 是 make a copy。 

C++ 的 “函数 调用 ?” 比 其 他 语言 复杂 之 处 在 于 参数 传递 和 返回 值 传 
递 。C、Java 等 语言 都 是 传 什 ， 人 简单 地 复制 几 个 字 贡 的 内 存 殴 行 了 。 但 
是 C++ 对 象 是 值 语 义 ， 如 果 以 pass-by-value 方 式 把 对 象 传 入 函数 ， 会 涉 
及 找 贝 构造 。 代 但 里 看 到 一 句 简 单 的 函数 调用 ， 实 际 育 后 友 生 的 可 能 是 
一 长 串 对 象 构 迄 操作 ， 因此 减少 无 谓 的 临时 对 象 是 C++ 代码 优化 的 关键 
2 

: 当 国 数 返 回 一 个 class type 时 ， 只 能 通过 make a copy 《C++ 不 得 不 定 
义 RVO 来 解决 性 能 问题 )》 。 因 为 函数 返回 int 时 是 make a copy。 

:以 class type 为 成 员 时 ， 数 据 成 员 是 舱 入 的 。 例 如 


pair<complex<double>, size_t> 的 layout 束 是 complex<double> 挨 着 size_t。 


这 些 设计 市 来 了 性 能 上 的 好 处 ， 原 因 是 memory locality。 比 方 说 我 
们 在 C++ 里 定义 complex<double> class，array of complex<double>， 
vector<complex<double> >， 它 们 的 layout 如 图 11-8 所 示 。 《re 和 im 分 别 
是 复数 的 实 部 和 虚 部 。) 


complex|3]: 


图 11-8 


而 如 果 我 们 在 Java 里 干 同样 的 事情 ，layout 大 不 一 样 ，memory 
locality 也 差 很 多 〈 见 网 11-9) 。 
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Complex|]: 
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array handle 


ArrayList<Complexs>: 


a 


图 11-9 


在 Java 中 每 个 object 都 有 head， 在 各 见 的 JVM 中 人 至少 有 两 个 word 的 开 
销 。 对 比 Java 和 C++， 可 见 C++ 的 对 象 模型 要 紧凑 得 多 。 


11.7.5 ”什么 是 数据 抽象 


本 廊 谈 一 谈 与 值 语义 案 窜 相关 的 数据 抽象 (data abstraction) ， 解 
释 为 什么 它 是 与 面 癌 对 象 并 列 的 一 种 编程 拖 式 ， 为 什么 文 持 面 癌 对 象 的 
编程 语言 个 一 定 文 持 数 据 抽象 。C++ 在 最 初 的 时 候 以 data abstraction 为 卖 
点 ， 不 过 随 看 时 则 的 流 渤 ， 现 在 似乎 很 多 人 只 知 Object-Oriented， 不 知 
data abstraction 了 。C++ 的 强大 之 处 在 于 “抽象 ?不 以 性 能 损失 为 代价 ， 本 
区 我 们 将 看 到 有 具体 例子 。 

数据 抽象 〈data abstraction) 是 与 面 回 对 象 “object-oriented) 并 列 
的 一 种 编程 范式 (programming paradigm) 。 说 “数据 抽象 ?或 许 显得 陌 
生 ， 它 的 吨 外 一 个 名 字 “ 抽 象 数 据 燃 型 (abstract data type，ADT) ”想必 
如 雷 员 匡 。 

“ 文 持 数据 抽象 ”一直 是 C++ 语言 的 设计 目标 ，Bjarne Stroustrup 在 他 
的 《The C++ Programming Language (第 2 版 ，》 (1991 年 出 版 〉 中 写 
违 : 

The C++ programming language is designed to 


‘be a better C 
‘support data abstraction 
“support object-oriented programming 


这 本 书 的 第 3 版 “1997 年 出 版 增加 了 一 条 : 
C++ is a general-purpose programming language with a bias towards 
systems programming that 


‘is a better C, 

“supports data abstraction, 

‘supports object-oriented programming, and 
“supports generic programming. 


在 C++ 的 早期 文献 2 中 有 一 篇 Bjarne Stroustrup 于 1984 年 写 的 《Data 
Abstraction in C++》。 在 这 个 页 面 还 能 找到 Bjame 写 的 天 于 C++ 操 作 符 
重 载 和 复数 运算 的 文章 ， 作 为 数据 抽象 的 详解 与 范例 。 可 见 C++ 早期 是 
以 数据 抽象 为 夹 点 的 ， 文 持 数 据 抽象 是 C++ 相对 于 C 的 一 大 优势 。 

作为 语言 的 设计 者 ，Bjarne 把 数据 抽象 作为 C++ 的 四 个 子 语言 之 
一 。 这 个 观点 不 是 和 被 普 过 接 党 的 ， 比 如 作为 语言 的 使 用 者 ，Scott 
Meyers 在 [EC3] 中 把 C++ 分 为 四 个 子 语言 : C、Object-Oriented C++、 
Template C++、STL。 在 Scott Meyers 的 分 类 法 中 ， 就 没有 出 现 数据 抽 
象 ， 而 是 归 入 了 Object-Oriented C++。 


那么 到 底 什 么 是 数据 抽象 ? ”人 简单 地 说 ， 数 据 抽 和 象 是 用 来 描述 
(抽象 〉 数 据 结 构 的 。 数 据 抽象 就 是 ADT。 一 个 ADT 主 要 表现 为 它 支 持 
的 一 些 操 作 ， 比 方 说 stack:: pushO、stack::popO0， 这 些 操 作 应 该 具有 明确 
的 时 间 和 空间 复杂 度 。 另 外 ， 一 个 ADT 可 以 隐藏 其 实现 细节 ， 例 如 stack 
既 可 以 用 动态 数组 实现 ， 又 可 以 用 链表 实现 。 

按照 这 个 定义 ， 数 据 抽 象 和 基于 对 象 Cobject-based) 很 像 ， 那 么 它 
们 的 区 列 在 哪里 ? 语义 不 同 。ADT 通 常 是 值 语义 ， 而 object-based 古 对 象 
语义 。 (这 两 种 语义 的 定义 见 811.7.1“ 什 么 是 值 语 义 ”) 。ADT class 是 可 
以 拷贝 的 ， 找 贝 之 后 的 instance 与 原 instance 脱 离 关 系 。 

比方 说 
stack<int> a: 
a.push(16): 
stack<int> b = a: 
Db .popt():; 
这 时 候 a 里 仍然 有 元 系 10。 


C++ 标准 库 中 的 数据 抽象 


C++ 标准 库 里 complex<>、Ppair<>、vector<>、1list<>、map<>、 
set<>、string、stack、gueue 痢 是 数据 抽象 的 例子 。vector 古 动态 数组 ， 
它 的 主要 操作 有 size()、begin()、end()、push_back0 等 等 ， 这 些 操作 不 仪 
含义 清晰 ， 而 且 计 算 复 淋 度 都 是 常数。 类 似 地 ，list 是 链表 ，map 是 有 有 序 
关联 数组 ，set 是 有 序 集合 、stack 是 FILO 栈 、queue 是 FIFO 队 列 。 “动态 
数组 ” “链表 ”“ 有 序 集合 ”人 “天 联 数 组 ”“ 栈 ” “队列 ?都 是 定义 明确 
(操作 、 复 杂 虚 ) 的 抽象 数据 类 型 。 


数据 抽象 与 面 癌 对象 的 区 列 


本 文 把 data abstraction、object-based、object-oriented 视 为 三 个 编程 
汇 式 。 这 种 细致 的 分 类 或 许 有 助 于 理解 区 分 它们 之 间 的 差别 。 

庸俗 地 讲 ， 面 回 对 象 〈objectroriented) 有 三 大 特征 : 封装 、 继 承 、 
多 态 。 而 基于 对 象 (object-based〉 则 只 有 封 锋 ， 没 有 继承 和 多 态 ， 即 只 
有 具体 类 ， 没 有 抽象 接口 。 它 们 两 个 都 是 对 象 语义 。 


面 同 对 象 真正 核心 的 思想 是 消 居 传递 (messaging) ， “封装 继 承 多 
态 ” 只 是 表象 。 关 于 这 一 点 ， 赤 宪 2 和 干 巷 ?都 有 精彩 的 论述 ， 笔 者 不 再 
考 k 过 
JJ 喇 o 


数据 抽象 与 它们 两 个 的 界限 在 于 “语义 ?”， 数 据 抽 象 不 是 对 象 语义 ， 


而 是 值 语 义 。 比 方 说 muduo 里 的 TcpConnection 和 了 Buffer 都 是 具体 共 ， 但 
前 者 是 基于 对 象 的 (object-based) ， 而 后 者 是 数据 抽象 。 

类 似 地 ，muduo::Date、muduo::Timestamp 孝 是 数据 抽象 。 尽 管 这 两 
个 class 价 单 到 只 有 一 个 inVlong 数 据 成 员 ， 但 是 它们 各 目 定 义 了 一 父 操 作 

Coperation) ， 并 隐藏 了 内 部 数据 ， 从 而 让 它 从 data aggregation 释 成 了 

data abstraction 。 

数据 抽象 是 针对 “数据 ”的 ， 这 意味 看 ADT class 应 该 可 以 找 贝 ， 只 要 
把 数据 复制 一 份 束 行 了 。 如 果 一 个 class 代 表 了 其 他 资源 (文件 、 员 工 、 
打印 机 、 账 号 ，， 那 么 它 通 常 束 是 object-based 或 object-oriented， 而 不 是 
数据 抽象 。 

ADT class 可 以 作为 Object-based/object-oriented class 的 成 员 ， 但 反 过 
来 不 成 立 ， 因 为 这 样 一 来 ADS class 的 找 贝 束 失 去 意义 了 。 


11.7.6 ”数据 抽象 所 需 的 语言 设施 
不 是 每 个 语言 都 支持 数据 抽象 ， 下 面 简要 列 出 “数据 抽象 ?所 需 的 语 


言 设施 。 

文 持 效 据 聚 合 ”数据 聚合 即 data aggregation， 或 者 叫 value 
aggregates。 即 定义 C-style struct， 把 有 天 数据 放 到 同一 个 struct 里 。 
FORTRAN 77 没 有 这 个 能 力 ，FORTRAN 77 无 法 实现 ADT。 这 种 数据 聚 
合 struct 是 ADT 的 基础 ，struct List、struct HashTable 等 能 把 链表 和 哈 希 表 
结构 的 数据 放 到 一 起 ， 而 不 是 用 儿 个 零散 的 变量 来 表示 和 它 。 

全 局 水 数 与 重 民 ”例如 我 定义 了 complex， 那 么 我 可 以 同时 定义 
complex sin(const complex& x) 和 complex exp(const complex& x) 等 等 全 局 
疯 数 来 实现 复数 的 三 角 函 数 和 指数 运算 。sin() 和 exp() 不 是 complex 的 成 
员 ， 而 是 全 局 水 数 double sin(double) 和 double exp(double) 的 重 载 。 这 样 
能 让 double a 二 sin(b); 和 complex a 二 sin(b); 具 有 相同 的 代码 形式 ， 而 不 必 
与 成 complex a 二 b.sin();。 

C 语 言 可 以 定义 全 局 国 数 ， 但 是 不 能 与 已 有 的 函数 重 名 ， 也 吏 没 有 
重 载 。Java 没 有 全 局 困 数 ， 而 且 Math class 是 封闭 的 ， 并 不 能 往 其 中 添加 
sin(Complex)。 

成 员 函 数 与 private 数 据 “数据 也 可 以 声明 为 private， 防 止 外 界 辣 
外 修改 。 不 是 每 个 ADT 都 适合 把 数据 声明 为 private， 例 如 complex、 
Point、pair<> 这 样 的 ADT 使 用 public data 更 加 合理 。 

要 能 够 在 struct 里 定义 操作 ， 而 不 是 只 能 用 全 局 函数 来 操作 struct。 
比方 说 vector 有 push_backO 操 作 ，push_back 是 vector 的 一 部 分 ， 它 必须 
直接 修改 vector 的 private data members， 因 此 无 法 定义 为 全 局 函数 。 


这 两 点 其 实 束 是 定义 class， 现 在 的 语言 都 能 直接 文 持 ，C 语 言 除 

拷贝 控制 (copy control) ”copy control 是 拷贝 stack a; stack b= 二 a; 
和 赋值 stack b: b= 二 a: 的 合 称 。 

当 找 由 一 个 ADT 时 会 发 生 什 么 ?比方 说 找 风 一 个 stack， 是 不 是 应 该 
把 它 的 每 个 元 系 按 值 找 由 到 新 stack? 

如 琳 语 言 文 持 显示 控制 对 象 的 生命 期 (比方 说 C++ 的 确定 性 析 
构 ) ， 而 ADT 用 到 了 动态 分 配 的 内 存 ， 那 么 copy control 更 为 和 里 要 ， 可 防 
止 访问 已 经 失效 的 对 象 。 

由 于 C++ class 是 值 语 义 ，copy contro] 是 实现 深 揽 贝 的 必要 手段 ， 而 
且 ADT 用 到 的 资源 只 涉及 动态 分 配 的 内 存 ， 所 以 竣 捞 贝 是 可 行 的 。 相 
反 ，object-based 编 程 风 格 中 的 class 往 往 代 表 某 样 真 实 的 事物 
(Employee、Account、File 等 等 ) ， 深 找 见 无 意义 。 

C 语 言 没 有 copy control， 也 没有 办 法 防止 找 贝 ， 一 切 要 鞭 程 序 员 目 
己 小 心 在 意 。FILE* 可 以 随意 搁 贝 ， 但 是 只 要 关闭 其 中 一 个 copy， 其 他 
copy 也 都 失效 了 ， 跟 空 悬 指针 一 般 。 整 个 C 语 言 对 竺 资源 (mallocO 得 到 
的 内 存 ，open() 打 开 的 文件 ，socket() 打 开 的 连接 〉 痢 是 这 样 的 ， 用 整数 
或 指针 来 代表 《〈 即 “句柄 ”) 。 而 整数 和 指针 类 型 的 “句柄 ”是 可 以 随 童 找 
风 的 ， 很 容易 就 造成 壬 复 释 放 、 诸 漏 释 放 、 使 用 已 经 释放 的 资源 等 等 妆 
见 错误 。 这 方面 C++ 是 一 个 显著 的 进步 ， 我 认为 boost::noncopyable 坪 
Boost 里 最 值得 推广 的 库 。 

操作 符 重 载 “如果 要 与 动态 数组 ， 我 们 布 望 能 像 使 用 内 置 数 组 一 
样 使 用 它 ， 比 如 支持 下 标 操 作 。C++ 可 以 重 载 operator[] 来 做 到 这 一 点 。 

如 各 要 与 复数 ， 我 们 和 希 鹿 能 像 使 用 内 症 的 double 一 样 使 用 它 ， 比 如 
文 持 加 减 乘 除 。C++ 可 以 重 载 operator+ 等 操作 符 来 做 到 这 一 点 。 

如 果 要 写 日 期 与 时 间 ， 我 们 希望 它 能 和 直接 用 大 于 或 小 于 与 来 比较 先 
用 == 来 判断 是 耕 相 等 。C++ 可 以 草 载 operator< 等 操作 从 来 做 a 到 这 一 


这 要 求 语 言 能 重 载 成 员 与 全 局 操作 人 符 。 操 作 符 重 载 是 C++ 与 生 俱 来 
的 特性 ，1984 年 的 CFront E 束 文 持 操作 人 和 从重 载 ， 并 且 提 供 了 一 个 complex 
class， 这 个 class 与 目前 标准 库 的 complex<> 在 使 用 上 无 区 别 。 

如 果 没 有 操作 人 符 重 载 ， 那 么 用 户 定 义 的 ADT 与 内 置 类 型 用 起 来 束 不 
一 样 了 〔 想 想 有 的 语言 要 区 分 == 和 equals， 代 人 码 写 起 来 实在 很 系 获 ) 。 
Java 里 有 BigInteger， 但 是 BigInteger 用 起 来 和 普通 inVylong 大 不 相同 : 


java code 
public static BigInteger mean(BigInteger x, BigInteger y) 1{ 
BigInteger two = BigInteger .valueOf (2); 
return x.add(y) .divide(two): 
J 


public static long mean(long x, long y) { 
return (XxX + y) / .2:; 
上 
java code 
当然 ， 操 作 符 午 载 容易 被 滥用 ， 因 为 这 样 显 得 很 “ 酷 *"。 我 认为 只 在 
ADT 表 示 一 个 “数值 ?的 时 候 才 适合 重 载 加 减 乘 除 ， 其 他 情况 下 用 具名 函 
数 为 好 ， 因 此 muduo::Timestamp 只 重 载 了 关系 操作 人 符 ， 没 有 重 载 加 减 操 
作 符 。 另 外 一 个 理由 见 $12.6“ 采 用 有 利于 版 本 管理 的 代码 格 却 ”。 
效率 无 损 “抽象 ?不 代表 低 效 。 在 C++ 中 ， 提 高 抽象 的 层次 并 不 会 
降低 效 雍 。 不 然 的 话 ， 人 们 衬 可 在 低层 次 上 编程 ， 而 不 愿 使 用 更 便利 的 
抽象 ， 数 据 抽 象 也 束 失 去 了 市 场 。 后 面 我 们 将 看 到 一 个 具体 的 例子 。 
模板 与 泛 型 ”如果 我 号 了 一 个 IntVector， 那 么 我 不 想 为 double 和 
string 册 实现 一 授 同 样 的 代码 。 我 应 该 把 vector 写 成 template， 然 后 用 不 
司 的 类 型 来 具 现 化 它 ， 从 而 得 到 vector<int>、vector<double>、 
vector<complex>、vector<string> 等 具体 类 型 。 
不 是 每 个 ADT 都 需要 这 种 沁 型 能 力 ， 一 个 Date class 束 没 必要 让 用 户 
指定 该 用 哪 种 类 型 的 整数 ，int32_t 足 够 了 了 。 
根据 上 面 的 要 求 ， 不 是 每 个 面 同 对 象 语言 都 能 原生 支持 数据 抽象 ， 
也 说 明 数 据 抽象 不 是 面 同 对 象 的 子 集 。 


11.7.7 ”数据 抽象 的 例子 


下 和 面 我 们 看 看 数值 模拟 N-body 问题 的 两 个 程序 ， 前 一 个 是 用 C 语 
言 ， 后 一 个 是 用 C++ 语 言 。 这 个 例子 来 目 编 程 语言 的 性 能 对 比 网 站 3。 
两 个 程序 使 用 的 算法 相同 。 

C 语 言 版 ， 完 整 代码 见 recipes/puzzle/file nbodyc ， 下 面 是 核心 代码 。 
struct planet 傈 存 行 星 位 置 、 速 度 、 质 量 ， 位 置 和 速度 各 有 三 个 分 量 。 程 
序 模拟 几 大 行星 在 三 维 空间 中 受 引 力 文 配 的 运动 。 

其 中 最 核心 的 算法 是 advance() 函 数 实现 的 数值 积分 ， 它 根据 各 个 星 
球 之 则 的 距离 和 引力 ， 算 出 加 速度 ， 再 修正 速度 ， 然 后 更 新 星球 的 位 
置 。 这 个 naive 算 法 的 复 林 度 是 O(N )。 


L code 
struct planet 


double X，Y，z; 
double vx, vy, vz: 
double mass: 

}; 


void advance(tint nbodies, struct planet *bodies, double dt) 


for Cint i = 0@: i < nbodies: i++) 
{ 
struct planet xp1 = &(bodies[i]): 
for (int j= i+ 1: j] < nbodies: j++) 
struct planet *p2 = &(bodies[]」); 
double dx = pl->x - p2->x: 
double dy = pl->y - p2->y: 
double dz = pl->z - p2->z; 
double distance_squared = dx x dx + dy x dy + dz * dz; 
double distance = sqrt(distance_squyuared): 
double mag = dt / (distance * distance_squared): 
P1=->VX -= dx 大 p2->mass * Mag: 
pl->vy -= dy * p2->mass * Mmag: 
Dl->vz -= dz 大 p2->mass * Mag: 
p2->vx += dx * pl->mass * mag: 
p2->VYy += dy * pl->mass * Mag: 
p2->Vz += dz * pl->mass * mag: 


} 


for (int i = @; i < nbodies; i++) 
t 
struct planet * p = &(bodies[i]):; 
p->x += gt * P->VX; 
p>Yy +="dt pyys 
p=>z += dt 类 PD->VZ: 


C code 


C++ 数据 抽象 版 ， 完 整 代 码 见 recipespuzzle/file nbody.cc ， 下 面 是 其 
代码 骨架 。 首 先 定 义 Vector3 这 个 抽象 ， 代 表 三 维 回 量 ， 它 既 可 以 是 位 
置 ， 又 可 以 是 速度 。 本 处 略 去 了 Vector3 的 操作 符 重 载 《Vector3 支 持 常 
见 的 回 量 加 减 乘 除 运算 ) 。 然 后 定义 Planet 这 个 抽象 ， 代 表 一 个 行星 ， 
它 有 两 个 Vector3 成 员 : 位 置 和 速度 。 需 要 说 明 的 是 ， 按 照 语 义 ， 
Vector3 是 数据 抽象 ， 而 Planet 是 object-based。 





C++ code 
struct Vector3 


Vector3(double x, double y, double zy) 
: XCX), Yy(Y), Z(Z) 
3 


double x: 

double yy: 

double z: 
上 


struct Planet 
{ 

Planet(const Vector3& position, const Vector3& velocity, double mass ) 
: position(position}), velocity(velocity), mass(mass) 


Vector3 position: 
Vector3 velocity: 
const double mass: 
}; 
C++ Code 


相同 功能 的 advanceO 代 人 码 则 人 简短 得 多 ， 而 且 更 容易 验证 其 正确 性 
(设想 假如 把 C 语 ie i vy、vVvz、dx、dy、dz 写 错位 
了 ， 这 种 错误 较 难 发 现 。) 


++ Code 
void advance(int nbodies, Planet* bodies, double delta_time) 
for (Planet* pl = bodies: pl != bodies + nbodies: ++p1) 
{ 
for (Planet* p2 = pl + 1; pa != bodies + nbodies; ++p2) 
{ 
Vector3 difference = pl->position - p2->position: 
double distance_squared = magnitude_squared(difference).; 
double distance = std::sqgrt(distance_squared); 
double magnitude = delta_ time / (distance * distance_squared): 
pl->velocity -= difference * p22->mass * magnitude; 
p2->velocity += difference * pl->mass 大 magnitude: 
} 
+ 
for (Planet* p = bodies; p != bodies + nbodies; ++p) 


{ 


1 


p->position += delta_time * p->velocity; 


C++ code 


尺 管 C++ 使 用 了 更 高 层 的 抽象 Yector3， 但 它 的 性 能 和 CC 语言 一 样 


快 。 看 看 memory layout 就 会 明白 。 
C struct 的 成 员 是 连续 存储 的 ，struct 数 组 也 是 连续 的 ， 如 图 11-10 所 





图 11-10 


尽 党 C++ 定义 了 Vector3 这 个 抽象 ， 但 它 的 内 存 布局 并 没有 改变 〈 见 
图 11-11) ，C++ Planet 的 布局 和 C planet 一 模 一 样 ，Planet[] 的 布局 也 和 C 
数组 一 样 。 
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图 11-11 


另 一 方面 ，C++ 的 inline 函 数 在 这 里 也 起 了 巨大 作用 ， 我 们 可 以 放心 
地 调用 Vector3::operator+=0 等 操作 符 ， 编 译 硕 会 生成 和 C 一 样 高 效 的 代 


伺 。 

不 是 每 个 编程 语言 都 能 做 到 在 提升 抽象 的 时 候 不 影响 性 能 ， 来 看 看 
Java 的 内 存 布局 。 如 果 我 们 用 class Vector3、class Planet、Planet[] 的 方式 
写 一 个 Java 版 的 N-body 程序 ， 内 存 布 局 将 会 是 如 图 11-12 所 示 的 样子 。 这 
样 大 大 降低 了 memory locality， 有 兴趣 的 读者 可 以 对 比 Java 和 C++ 的 实现 
效率 。 


WectOT3: 


Planet: 


Planet[s]: 
















Planet: Planet: 


esa pos var oas 
ea x [ya] Pex]yTe) elslyTa) Fel xTyle 
图 11-12 


注 : 这 里 的 N-body 算 法 只 为 比较 语言 之 间 的 性 能 与 编程 的 便利 性 ; 
真正 科研 中 用 到 的 N-body 算 法 会 使 用 更 高 级 和 撒 层 的 优化 ， 复 杂 度 是 
O(N logN)， 在 大 规模 模拟 时 其 运行 速度 也 比 本 naive 算 法 快 得 多 。 


更 多 的 例子 





.Date 与 Timestamp， 这 两 个 class 的 “数据 ?都 是 整数 ， 各 定义 了 一 套 
操作 ， 用 于 表达 日 期 与 时 间 这 两 个 概念 。 

“BigInteger， 它 本 里 就 是 一 个 “ 数 "。 如 果 用 C++ 实 现 BigInteger， 那 
么 阶乘 函数 瑟 出 来 十 分 日 然 。 下 面 第 二 个 函数 是 Java 语 言 的 版 本 。 


// C++ code 
Biglnteger tactorial(int n) 


{ 
BigInteger resuyult(1); 
for (int i = 1; i <= ni ++i) { 
resuyult *= 1; 
上 
return resuyult: 
} 


/i Java code 
public static BiglInteger factorial(int ny) { 
Biglnteger result = Biglnteger .ONE.; 
for (int 1 = 1: i <= ni ++i) { 
resuyult = resyult.multiply(Biglnteger ,valueOf (1)); 
上 


return resuyult: 
局 精度 运算 库 gmp 有 有 一 父 局 质量 的 C++ 封 泪 


:图 形 学 中 的 三 维 齐 次 坐标 Vector4 和 对 应 的 4x4 变 换 和 矩阵 Matrix43。 

:金融 领域 中 经 第 成 对 出 现 的 “ 买 入 价 / 卖 出 价 ”， 可 以 封 痛 为 
BidOffer struct， 这 个 struct 的 成 员 可 以 有 midO0 〈 中 间 价 ) 、spread0O 〈 买 
卖 兰 价 ) 、 加 减 操作 符 等 等 。 


小 结 


数据 抽象 是 C++ 的 重要 抽象 手段 ， 适 合 封 痛 “ 数 据 ”， 它 的 语义 人 简 
持 ， 容 易 使 用 。 数 据 抽象 能 简化 代码 书 与 ， 减 少 贫 然 错 诺 。 

在 狐 写 一 个 class 的 时 候 ， 先 想 清 楚 它 是 值 语义 还 是 对 象 语义 。 一 版 
来 说 ， 一 个 项 上 日 里 只 有 少量 的 class 是 值 语义 ， 比 如 一 些 snapshot 的 数 
据 ， 而 大 多 数 class 都 是 对 象 语义 。 

如 果 是 对 象 语义 的 class， 那 么 应 该 立刻 继承 boost::noncopyable， 沪 
止 编译 右 目 动 生成 的 找 见 构造 函数 和 赋值 操作 符 在 无 意 中 破 坏 程序 行为 
3。 《比如 防止 有 人 误 将 对 象 语 义 的 class 放 入 标准 库容 需 。 ) 


注释 
1 本 节 内 容 写 于 2008 年 底 , “去年” 指 的 是 2007 年 。 
2 经 过 多 年 演化 ，2012 年 的 代码 量 是 23000 行 。 期 间 交 付 了 20 多 个 大 小 版 本 ， 有 两 三 次 重 


大 功能 更 新 。 

3 ” 其实 ， 有 人 一 句 话 道破 真相 :“ 但 几 你 在 某 个 地 方 切 断 联 系 ， 那 么 你 必然 会 在 男 一 个 地 
方 重新 产生 联系 。” (http://www.iteye.com/topic/947017 ) 

4 《代码 大 全 【第 2 版 ) 》[CC2e] 第 5.2 节 。 


3 
http://developer.qt.nokla.com/faqg/answer/you frequently say that you cannot add this or that feature because It woul 
http://www.codesourcery.com/public/cxx-abi/abi.html 
http://techbase.kde.org/Policies/Binary Compatibility lssues With C%2B%2B 
http://lxr.linux.no/linux-old+vO.01/include/unistd.h#L60 
http://lxr.linux.no/linux+v2.6.37.3/arch/x86/include/asm/unistd 32.h 

10 https://gist.github.com/867174 《先后 天 系 与 版 本 写 不 一 定 100% 准 确 ， 我 是 用 git blame 去 
但 的 ， 现 在 列 出 的 代码 只 从 0.01 到 2.5.31， 相 信和 已 经 足以 展现 COM 接 口 方 式 的 星 端 。) 

11 http://blog.csdn.net/myan/archive/2010/10/09/3928331.aspx 

12 http://blog.csdn.net/myan/archive/2010/09/14/3884695.aspx 

13 ”Linus 在 2007 年 炮 受 C++ 时 说 :“《〈C++ 面 问 对 象 ) 导致 低 效 的 抽象 编程 模型 ， 可 能 在 两 
年 之 后 你 会 注意 到 有 些 抽 象 效 果 不 怎 么 样 ， 但 是 所 有 代码 已 经 依赖 于 围绕 它 设 计 的 ' 漂 腕 对象 
模型 了， 如 果 不 重 写 应 用 程序 ， 束 无 法 改正。”〈 译 文 引 目 
http://blog.csdn.net/turingbook/article/details/1775488 ) 

14 http://www.cnblogs.com/Solstice/archive/2011/04/22/2024791.html 

15 http://golang.org/doc/go lang faq.html#inheritance 

16 ”Java 8 也 有 新 的 Closure 语 法 ，C# 从 一 诞生 束 有 delegate。 

本 小 节 内 容 写 得 比较 早 ， 那 会 儿 我 还 没有 开始 写 muduo， 所 以 该 例子 与 现在 的 代码 有 


些 脱 

18 “一 等 公民 ” 指 类 型 和 函数 可 以 像 普 通 变 量 一 样 使 用 (赋值 ， 传 参 ) ， 既 可 以 用 一 个 变 
量 表示 一 个 其 型 ， 通 过 该 变量 构造 其 代表 的 类 型 的 对 象 ， 也 可 以 用 一 个 变量 表示 一 个 函数 ， 通 
过 该 变量 调用 其 代表 的 函数 。 

19 http://norvig.com/design-patterns/ 

20 http://www.stroustrup.com/new learning.pdf 

21 http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml#64-bit Portability 
http://www.gnu.org/s/hello/manual/libc/Printf-Extension-Example.html 
http://en.wikipedlia.org/WwIkI/Printf#Custom format placeholders 
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http://www.softwarepreservation.org/projects/c plus plus/cfront/release 1.0/src/ctront/incl/stream.h/view 
25 ”对象 语 义 在 其 他 面 同 对 象 的 语言 里 通 弟 叫做 “引用 语义 (reference semantics) ”为 了 
避免 与 C++ 的 “引用 ”类 型 冲突 ， 我 这 里 用 “对 象 语义 ”这 个 术语 。 
26 http://en.wikipedlia.org/WIkI/Printf#Programming languages with printf 
27 http://www.kernel.org/doc/man-pages/online/pages/man//pthreads./.html 
28 在线 ACMVICPC 判 题 网 站 上 ， 如 果 一 个 简单 的 侦 重 IO 的 题目 发 生 超 时 错误 ， 那 么 把 其 
中 iostream 的 输入 输出 换 成 stdio， 有 时 惑 能 过 关 。 另 外 可 以 先 试 试 调 用 cin.sync_with_stdio(false); 
Chttp://stackoverflow.com/questions/9371238 ) 。 
29 http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml#Streams 
30 http://www.osnews.com/story/19266/WTFs m 
31 
http://stackoverflow.com/questions/273 3060/who-architected-designed-cs-lostreams-and-would-It-still-be-considered-well 
32 《Effective C++ 中 文 版 〈 第 3 版 ) 》[EC3， 条 款 32]: 确保 你 的 public 继 承 模 塑 出 is-a 关 
系 。《C++ 编 程 规 范 》[CCS， 条 球 37]: public 继 承 意味 着 可 答 换 性 。 
33 ，” 按 英语 语法 ， 这 里 的 is-a 应 该 写作 is-an， 此 处 从 人 简 。 
34 ” 见 《Effective C++ 中 文 版 (第 3 版 )》[EC3， 条 款 38]: 通过 组 合 模 塑 出 has-a 或 “以 某 物 
实现 ”。《C++ 编 程 规范 》[CCS， 条 款 34]: 尽 可 能 以 组 合 代 蔡 继承 。 
35 http://www.cantrip.org/locale.html 





Ee 
O) 


http 和 com/blog/2011/06/29/here-be-dragons-advances-In-problems-you-didnt-even-know-you-had/ 
http Noe google.com/p/protobuf/source/browse/trunk/src/google/protobuf/lo/zero copy stream.h#122 


http gd google.com/p/protobuf/source/browse/trunk/src/google/protobuf/Io/zero copy stream ImpLh#>52> 
39 http://code.google.com/p/protobuf/source/browse/trunk/src/google/protobuf/Io/tokenizer.h# /5 


40 
http://code.google.com/p/protobuf/source/browse/trunk/src/google/protobuf/compiler/parser.h#59 

41 http://code.google.com/p/leveldb 

42 http://code.google.com/p/leveldb/source/browse/trunk/util/env poSsIX.CC# 952 

43 http://code.google.com/p/leveldb/source/browse/trunk/util/env chromium.cc#17/6 

44 http://fallabs.com/kyotocabinet/api/classkyotocabinet 1 1File.html 


45 
http://code.google.com/p/read-taobao-code/source/browse/trunk/tair/src/storage/kdb/kyotocabinet/kcfile.cc 
46 http://www.boost.org/doc/libs/1 51 0/doc/html/any/reference.html 
要 47 即 像 持 有 int 一 样 持 有 对 象 〈 的 智能 指针 ) ， 其 实 智能 指针 本 身 既 不 是 值 语 义 也 不 是 对 
语义 。 
48 ”图 11-9 中 的 handle 是 Java 的 reference， 为 了 避免 与 C++ 引用 泥 消 ， 这 里 换个 写法 。 
49 http://www.softwarepreservation.org/projects/c plus plus/index.html#cfront 


50 
http://www.softwarepreservation.org/projects/c plus plus/ctront/release e/doc/DataAbstraction.pdf 

51 http://blog.csdn.net/myan/article/detalls/32928531 

52 http://cxwangyi.wordpress.com/2011/06/19/ 杂谈 现代 高 级 编程 语言 / 

53 http://shootout.alioth.deblan.org/gp4/benchmark.php?test=nbody&lang=all 

54 http://gmplib.org/manual/C 002b 002b-Interface-General.html#C 002b 002b-Interface-General 

55 http://www.ogre3d. org/docs/api/html/classOgre_1 1Matrix4.html 

56 ”我 认为 C++ 最 好 修改 语言 规则 ， 一 旦 class 定 义 了 析 构 函数 ， 那 么 编译 器 就 不 应 该 自动 
生成 搁 贝 构造 函数 和 赋 信 操作 符 。 似 乎 C++11 已 经 做 了 类 似 的 规定 ? 


第 12 普 ”C++ 经 验 谈 


我 对 C++ 的 基本 态度 是 “ 练 从 难处 练 ， 用 从 易 处 用 ”， 因 此 本 章 有 几 
节 “ 人 负面” 的 内 容 。 我 坚信 软件 开发 一 定 要 时 刻 注意 减少 不 必要 的 复 林 
度 ， 一 些 花 团 锦 秘 的 招式 玩 不 好 反倒 会 伤 到 自己 。 作 为 应 用 程序 的 开发 
者 ， 对 技术 的 运用 要 明智 ， 不 要 为 了 解决 难度 系数 为 10 的 问题 而 去 强攻 
难度 系数 为 100 的 问题 ， 这 就 本 末 倒 置 了 。 


12.1 用 异 或 来 交换 变量 是 错误 有 的 


翻转 一 个 字符 串 ， 例 如 把 "12345" 变 成 "54321"， 这 是 一 个 最 简单 不 
过 的 编码 任务 ， 即 便 是 C 语 言 初 学 者 也 能 只 个 引力 地 写 出 类 似 如 下 的 代 
15: 
Version 1 
1/ 版 本 一 ， 用 中 间 变 量 交 换 两 个 数 ， 好 代码 
vold reverse_by_swap(char* str, int n) 
{ 
char* begin = str: 
char* end = str+n- 1: 


while (begin < end) 

{ 
char tmp = *begin: 
*begin = *end; 
x*end = tmp; 
++begin: 
-—end:; 

} 

上 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 \ersion 1 

上 面 这 段 代 人 码 清 晰 ， 直 日 ， 没 有 任何 高 深 的 技巧 。 不 知 从 什么 时 候 
开始 ， 有 人 “ 友 明 ”了 不 使 用 临时 变量 交换 两 个 数 的 办 法 ， 用 天 键 词 “不 
RE 
J 实现 : 


Version 4 
/1 版 本 二 ， 用 寞 或 运算 冯 换 两 个 数 ， 烂 代码 


vold reverse_by_xor(char* str, int mn) 


/7 WARNING: BAD code 
Charx begin = str: 
charx end = str + n- 1: 


while (begin < end) 
{ 


*begin “= *end.; 
*end “= *begin:; 
xDegin “= end.; 
++begin; 

-end: 


Version 2 


受 一 些 过 时 的 教科 书 的 误导 ， 有 人 认为 程序 里 少 用 一 个 变量 ， 节 省 
一 个 字 节 的 空间 ， 会 让 程序 运行 得 更 快 。 这 是 不 对 的 ， 至 少 在 这 里 不 成 


/es 


1. 这 个 所 谓 的 “技巧 ”在 现代 的 机 右上 只 会 更 慢 (我 其 至 怀疑 它 从 
来 束 不 可 能 比 原始 办 法 快 )。 原 始 办 法 是 两 次 内 存 读 和 写 ， 这 个 “ 技 
A 
或 ) 。 

2. 同样 也 不 能 节省 内 存 ， 因 为 中 间 变 量 tmp 通 和 会 是 寄存 左 〈 稍 后 
有 站 编 代码 供 分 析 〉 。 残 算 它 在 图 数 的 局 部 堆栈 〈stack) 上 ， 反 正 栈 已 
经 开 在 那儿 了， 也 没有 进一步 的 冰 数 调用 ， 根 本 节约 不 了 一 丁点 内 契 。 

3. 相反 ， 由 于 计算 步骤 较 多 ， 会 使 用 更 多 的 指令 ， 编 详 后 的 机 器 
人 
= 


这 个 技巧 的 意义 完全 在 于 应 付 无 聊 的 面试 ， 所 以 知道 束 行 ， 但 绝对 
不 能 放 在 产品 代码 中 。 我 也 想 不 出 问 这 样 的 面试 题 意义 何在 。 
更 有 其 者 ， 把 其 中 三 句 : 
x*begin “= xend: 
*end *= 大 begin: 
*begin *= xend: 


0]: 
*begin ^= xend *= *begin *= x*end; // WRONG 


这 和 更 是 大 有 问题 ， 会 导致 未 定义 的 行为 undefined behavior) :。 在 
C/C++ 语言 的 一 条 语句 中 ， 一 个 变量 的 值 只 人 允许 改变 一 次 。【〔 像 x 二 
X++ 这 种 代码 都 是 未 定义 行为 ， 因 为 x 有 两 次 写 入 。: ) 在 C/C++ 语言 里 
没有 哪 条 规则 保证 这 两 种 与 法 是 等 价 的 。“〈 致 语言 律师 : 我 知道 ， 黑 话 
叫 序 列 点 :， 一 个 语句 可 能 不 止 一 个 序列 点 ， 请 允许 我 在 这 里 使 用 不 精 
硝 的 表述 。 ) 

这 不 是 一 个 值得 炫 浴 的 技巧 ， 只 会 丑化 、 和 劣化 代码 。 

C++ 对 翻转 字符 串 这 个 问题 有 更 人 简单 的 解法 调用 STL 里 的 
std::reverse() 函 数 。 有 人 担心 调用 函数 会 有 开销 ， 这 种 担心 古 多 余 的 ， 
现在 的 编译 占 会 把 std::reverse() 这 种 简 早 函数 日 动 内 联展 开 ， 生 成 出 来 
的 优化 汇编 代码 和 “版 本 一 ”一 样 快 。 





Version 3 
/1 版 本 三 ， 用 std::reverse 其 倒 一 个 区 间 ， 优 质 代 码 
vold reverse_by_std(char* str, int n) 
std: :reverse(str, str + Nn): 
} 
Version 3 


12.1.1 编 详 紫 会 分 列 生 成 什么 代 介 


注意 : 查看 编译 器 生成 的 汇编 代码 固然 是 了 解 程序 行为 的 一 个 重要 
手段 ， 但 古 干 万 个 要 认为 看 到 的 东西 是 永恒 真理 ， 它 只 是 一 时 一 地 的 真 
相 。 将 来 换 了 人 硬件 平台 或 编 详 器 ， 情 况 可 能 会 变化 。 重 要 的 不 是 为 什么 
版 本 一 比 碑 本 二 快 ， 而 是 如 何必 现 这 个 事实 。 不 要 “ 猜 〈guess) ”， 
要 “ 测 (benchmark) ”。 
以 g++ 有 版 本 4.4.1， 编 译 参 数 -O2 -march=core2，X86 Linux 系 统 为 例 。 
版 本 一 ”版 本 一 编译 得 到 的 汇编 代码 是 : 
ee 
movzbl] (%edx), %ecx 
movzbl] (weax), webx 
movb abl, (%edx) 
movb CCl], (%eax) 


incl edx 
decl EAX 
cmpl XEAX, Wedx 
jb .|L3 


我 用 C 语 言 翻译 一 下 : 


register char bl, cl: 
register char* eax: 
register char* edx: 


| 3 

cl = xedx; // 读 
bl = x*eax: // 访 
xedx = bl; // 写 
xeax = Cl: // 与 
++edx : 

--—eax; 


if (edx < eax) goto L3: 


一 共 两 读 两 写 ， 临 时 变量 没有 使 用 内 和 存 ， 痢 在 寄存 占 里 完成 。 考 虑 指令 
级 并 行 和 cache 的 话 ， 中 间 六 条 语句 估计 能 在 三 四 个 周期 执行 完 。 


版 本 二 
.上 9: 
movzbl (%edx), %ecx 
xorb (EaXx) ,Cl 
movb XCl1, (%eax) 
xorb (%edx), %cl 
movb XCl1l, (%edx) 


decl EdX 
xorb XCl1l, (%eax) 
incl NEAaX 
cmpl EOX, weEaX 
jb .L9 


C 语 言 翻 详 : 
// 声明 与 前 面 一 特 
cl] = xedx: ji 
El = nee /i 
xeax = Cl: /7 


4 
os 


cl ^= wxedx: // 读 ， 恒 或 
xedx = cl:  // 写 

--edx: 

xeaX “= Cl]: // 读 、 写 ， 上 异 或 
++eaX ; 


if (eax < edx) goto L9: 


一 共 六 读 三 写 三 钦 异 或 ， 多 了 两 条 指令 。 指 令 多 不 一 定 束 慢 ， 但 是 这 里 


异 或 版 实测 比 临 时 变量 版 要 慢 许 多 ， 因 为 它 的 每 条 指令 都 用 到 了 前 面 一 
条 指令 的 计算 结束 ， 没 法 并 行 执行 。 


版 本 三 生成 的 代 但 与 “版 本 一 ”一 样 快 。 


2 
movzbl (%eax), %ecx 
movzbl] ‘(wedx), %ebx 
movb xbl, (%eax) 
movb C1], (edx) 
incl NEAaX 

a 
decl Xedx 
cmpl Xedx, %eax 
jb .L121 


这 告诉 我 们 ， 不 要 想当然 地 优化 ， 也 不 要 低估 编译 器 的 能 力 。 关 于 
现在 的 编译 右 有 多 聪明 ，Felix von Leitner 有 一 个 不 错 的 介绍 :+。 

Bjarne Stroustrup 说 过 : “我 豆 欢 优雅 和 禹 效 的 代码 。 代 人 码 迪 辑 应 当 
直截了当 ， 叫 缺陷 难以 隐藏 : 尽量 减少 依赖 天 系 ， 使 之 便于 维护 ， 以 某 
种 全 局 策略 一 以 贯 之 地 处 理 全 部 出 错 情况 ;性 能 调 校 至 接近 最 优 ， 省 得 
引诱 别人 实施 无 原则 的 优化 (unprincipled optimizations) ， 搞 出 一 团 乱 
斥 。 整 洁 的 代码 只 做 好 一 件 事 。” 

这 恐 介 吏 是 Bjarne 提 及 的 没有 原则 的 优化 ， 甚 至 根本 连 优 化 都 不 
是 。 代 码 的 清晰 性 是 首要 的 。 


12.1.2 ”为 什么 短 的 代码 不 一 定 快 
8$12.3 将 会 谈 到 负 整 数 的 除法 运算 ， 其 中 引用 了 一 段 把 整数 转 为 字 


从 串 的 代码 。 函 数 反 复 计算 一 个 整数 除 以 10 的 丙 和 余数 。 我 尿 以 为 编 详 
价 会 用 一 条 DIV 队 法 指令 来 算 ， 实际 生成 的 代 人 码 让 我 大 吃 一 慰 : 


ie: 
mowl $1717986919,，%eax 
imull %ebx 


mov] Xebx, %eax 
sarl $31, %eax 
sarl $2, %edx 

subl NEAX, Wedx 
movl EX, Weax 


leal (%edx, %edx,4), %edx 
addl %edx, %edx 

subl Ex, WEeDX 

movl %ebX ， %edx 

movl EAX, 的 已 口 X 

movzbl (%edi,%edx), %eax 
movb Ral, (2eESl) 

addl $1 ，%esl 

testl] webx, %ebx 

Jne .上 2 


一 条 DIV 指 令 锐 蔡 换 成 了 十 来 条 指令 ， 编 详 卓 不 是 伊 子 ， 必 然 有 奈 
因 。 这 里 我 不 详细 解释 到 撒 是 怎么 算 的 ， 基 本 思路 是 把 除法 转换 为 乘 
法 ， 用 倒数 来 得 。 其 中 出 现 了 一 个 魔 数 1717986919， 转 换 成 十 六 进 制 是 
0x66666667， 等 于 (22 十 3)/5。 

现代 处 理 硕 的 乘法 运算 和 加 减法 一 样 快 ， 比 除法 快 一 个 数量 级 左 
右 ， 编 详 希 生成 这 样 的 代码 是 有 理由 的 。 十 多 年 前 出 厂 的 巨 朝 《程序 设 
计 实 践 》[TPoP] 中 介绍 过 如 何 做 micro benchmarking， 方 法 和 结果 都 值得 
一 谈 ， 当 然 里 边 的 数据 臣 怕 有 氮 过 时 了 。 

有 本 奇 书 《Hackers Delight》“〔 中 译本 《 珊 效 程序 的 奥秘 》) ， 展 
示 了 大 量 这 种 速算 撤 巧 。 其 中 第 10 章 专门 讲 整数 钊 量 的 除法 。 我 不 会 把 
其 中 如 天 书 般 的 技巧 应 用 到 产品 代码 中 ， 但 是 我 相信 现代 编译 器 的 作者 
是 知道 这 些 技巧 的 ， 他 们 会 合理 地 使 用 这 些 技巧 来 提高 生成 代码 的 质 
量 。 现 在 已 经 不 是 那个 全 点 汇编 焉 能 打败 C/C++ 编 译 硕 的 时 代 了 。 

Mark C. Chu-Carroll 有 一 篇 博客 《The”“C is Efficient”"Language 
Fallacy》5s 的 观点 我 非常 赞同 ， 即 用 清晰 的 代 人 码 表 达 程 友 员 的 意图 ， 让 
编 详 大 容易 实施 优化 。 


Making real applications run really fast is something that's done with the 
help of a compiler. Modern architectures have reached the point where people 
cant code effectively in assembler anymore—switching the order of two 
independent instructions can have a dramatic impact on performance in a 


modern machine, and the constraints that you need to optimize for are just 
more complicated than people can generally deal with. 

So for modern systems, writing an efficient program ls sort of a 
partnership . The human needs to careful choose algorithms—the machine 
can't possibly do that. And the machine needs to carefully compute 
instruction ordering, pipeline constraints, memory fetch delays, etc. The two 
together can build really fast systems. But the two parts aren't independent: 
the human needs to express the algorithm in a way that allows the 
compiler to understand it well enough to be able to really optimize it. 


最 后 ， 说 说 C++ 柑 板 。 假 如 要 编写 一 个 任意 进 制 的 转换 程序 。C 语 
证 的 浮 数 声明 古 : 


bool convert{(char* buf, size_t bufsize, int value, int radix):; 


既然 进 制 是 编 详 期 常量 ，C++ 可 以 用 市 非 类 型 模板 参数 的 函数 模板 
来 实现 ， 函 数 的 代 人 码 与 C 相 同 。 


template<int radix> 
bool converttchar* buf, size_t bufsize, int valuey): 


模板 确实 会 使 代码 膀 胀 ， 但 是 这 样 的 膀 胀 有 时 候 是 好 事情 ， 编 详 需 
sb 不 同 的 常数 生成 快速 算法 。 滥 用 C++ 模 板 当 然 是 错 的 ， 适 当 使 用 
` 会 有 问题。 


12.2 ”不 要 重 载 全 局 ::operator new() 


本 文 只 考虑 Linux x86 平 台 ， 服 务 问 开 友 (不 考虑 Windows 的 中 DLL 
由 存 分 配 释放 问题 ) 。 本 文 假定 旋 者 知道 ::operator new() 和 ::operator 
deleteO 是 干什么 的 ， 与 通常 用 的 new/delete 表 达 式 有 何 区 别 和 联系 ， 这 
方面 的 知识 可 参考 伺 捷 先生 的 文章 《池内 春秋 》[jjhou02]， 或 者 这 篇 文 
革 : http://www.relisoft.com/book/tech/9new.html 。 

C++ 的 内 存 管理 是 个 老生 第 谈 的 话题 ， 我 在 81.7“ 择 曲 : 系统 地 避 倪 
各 种 指针 错误 ”中 人 简单 回顾 了 一 些 第 见 的 问题 以 及 在 现代 C++ 中 的 解雇 
办 法 。 基 本 上 ， 按 现代 C++ 的 手法 (RAII) 来 管理 内 存 ， 你 很 难 遇 到 什 
么 和 内存 方面 的 钳 误 。 “没有 错误 ?是 基本 要 求 ， 不 代表 “中 够 好 >。 我 们 第 
第 会 设法 优化 性 能 ， 如 有 果 profiling 表 明 hot spot 在 内 存 分 配 和 释放 上 ， 重 
载 全 局 的 ::operator new() 和 ::operator delete() 似 乎 是 一 个 一 荔 永 逸 的 好 办 
法 (以 下 简写 为 “ 重 载 ::operator new()”) 。 本 节 试 图 说 明 这 个 办 法 往往 


行 不 通 。 
12.2.1 内 存 官 理 的 基本 要 求 


如 果 只 考虑 分 配 和 和 释放， 内存 管 理 基 本 要 求 是 “不 重 不 漏 ” ， 既 不 重 
复 delete， 也 不 漏 挥 delete。 也 残 是 说 我 们 稼 说 的 new/delete 要 配对 ,，“ 配 
对 ”不 仅 是 个 数 相 等 ， 还 隐 售 了 new 和 delete 的 调用 本 喘 要 匹配 ， 不 要 “ 东 
家 信 的 东西 西 家 还 ”。 例 如 : 


:用 系统 默认 的 mallocO 分 配 的 内 存 要 交 给 系统 默认 的 free0 去 释放 。 

:用 系统 默认 的 new 表 达 式 创建 的 对 象 要 交 给 系统 默认 有 的 delete 表 达 
式 去 术 构 并 释放 。 

:用 系统 默认 的 new[] 表 过 却 创 建 的 对 象 要 交 给 系统 默认 的 delete[] 表 
达 式 去 析 构 并 释放 。 

:用 系统 默认 的 ::operator new() 分 配 的 内 存 要 交 给 系统 默认 
的 ::operator delete() 去 释放 。 

:用 placement new 创 建 的 对 象 要 用 placement delete (为 了 表述 方便 ， 
姑且 这 么 说 吧 ) 去 析 构 〈 其 实 吏 是 直接 调用 析 构 函数 ) 。 

:从 示 个 内 存 池 A 分 配 的 内 存 要 还 给 这 个 内 存 池 。 

:如 采 定 制 new/delete， 那 么 要 按 规 窍 来 。 见 《Effective C++ 中 文 版 

(第 3 版 )》[EC3] 第 8 章 “ 定 制 new 和 delete”。 


做 到 以 上 这 些 不 难 ， 是 每 个 Ct+ 开 发 人 员 的 基本 功 。 不 过 ， 如 末 你 
想 重 载 全 局 的 ::operator new()， 事 情 束 厅 烦 了 了。 


12.2.2” 重 载 ::operator new() 的 理由 
[EC3， 条 球 50] 列 举 了 定制 new/delete 的 几 扣 理 由 : 
-检测 代码 中 的 内 存 错误 ; 
:获得 内 存 使 用 的 统计 数据 。 


这 些 都 是 正当 的 需求 ， 后 面 我 们 将 会 看 到 ， 不 重 载 ::operator new() 
也 能 达到 同样 的 目的 。 


12.2.3 ”::operator new( 的 两 种 重 载 万 式 


1. 不 改变 其 位 名 ， 无 颖 直接 蔡 换 系统 原 有 的 版 本 ， 例 如 : 
#include <new> 


VOId* operator new(slze_t slze): 
yOld operator delete(void* p); 

用 这 种 方式 的 重 载 ， 使 用 方 不 需要 包含 任何 特殊 的 头 文 件 ， 也 惑 是 
说 不 需要 看 见 这 两 个 函数 声明 。“ 性 能 优化 ? 通 间 用 这 种 方式 。 

2. 增加 新 的 参数 ， 调 用 时 也 提供 这 些 额 外 的 参数 ， 例 如 : 


// 此 函数 退回 的 指针 必须 能 被 普 通 的 ::operator delete(voidx*) 释放 
vDidx operator new(size_t size, const char* file, int line):; 


// 此 函数 只 在 构造 函数 抛 异 常 的 情况 下 才 会 被 调用 


vold operator delete(voild*x p, const char*x file, int line); 


然后 用 的 时 候 是 


Foox p = new (__FILE，__LINE_) Foo; // 这 样 能 跟踪 是 哪个 文 件 哪 一 行 代 码 分 配 的 和 内存 


我 们 也 可 以 用 宏和 蔡 换 new 来 节省 打字 。 用 这 里 的 第 二 种 方式 重 载 ， 
使 用 方 需要 看 到 这 两 个 函数 声明 ， 也 就 是 说 要 主动 包含 你 提供 的 涉 文 
件 。 “检测 内 存 错 误 2 和 “统计 内 存 使 用 情况 ? 通 钊 会 用 这 种 方式 重 载 。 当 
然 ， 这 不 是 绝对 的 。 

在 学 习 C++ 的 阶段 ， 每 个 人 都 可 以 写 个 一 两 特 行 的 程序 来 验证 教科 
bi 重 载 ::operator new0) 在 这 样 的 玩具 程序 里 边 不 会 造成 什么 
末 光 

不 过 ， 我 认为 在 现实 的 产品 开发 中 ， 重 载 ::operator new0 力 是 下 
宋 ， 我 们 有 更 简 早 、 安 全 的 办 法 来 到 达 以 上 目标 。 


12.2.4 现实 的 开发 环境 


作为 C++ 应 用 程序 的 开发 人 员 ， 在 编写 和 有 具 规 檬 的 程序 时 ， 我 们 通 
芝 会 用 到 一 些 library。 我 们 可 以 根据 library 的 提供 方 把 它们 大 致 分 为 这 


么 儿 大 大: 


1._C 语 言 的 标准 库 ， 也 包括 Linux 编 程 环境 提供 的 glibc 系 列 函 数 。 
2. 第 三 方 的 C 语 言 库 ， 例 如 OpenSSL 。 
3. C++ 语 言 的 标准 库 ， 主 要 是 STL。〔 我 想 没 有 人 在 产品 中 使 用 


iostreamll 忆 2? ) 


4. 第 三 方 的 通用 C++ 库 ， 例 如 Boost.Regex， 或 者 某 蒜 XML 库 。 

5. 公司 其 他 团队 的 人 开 肥 的 内 部 基础 C++ 库 ， 比 如 网 络 通 信和 日 

6. 本 项 目 组 的 同事 目 己 开发 的 针对 本 应 用 的 基础 库 ， 比 如 某 三 维 
模型 的 仿 射 变换 模块 。 


在 使 用 这 些 library 的 时 候 ， 不 可 避免 地 要 在 各 个 library 之 则 交换 数 
据 。 比 方 说 library A 的 输出 作为 library B 的 输入 ， 而 library A 的 输出 本 吴 
第 第 会 用 到 动态 分 配 的 内 存 〈( 比 如 std::vector<double>) 。 

如 果 所 有 的 C++ library 都 用 同一 套 内 存 分 配 磊 (就 是 系统 默认 的 
new/delete〉， 那 么 内 存 的 释放 就 很 方便 ， 和 下 接 交 给 delete 去 释放 有 束 行 。 
如 果 不 是 这 样 ， 那 就 得 时 时 刻 刻 记 住 “这 一 块 内 存 是 属于 哪个 分 配 烽 
的 ， 是 系统 默认 的 还 是 我 们 定制 的 ， 释 放 的 时 候 不 要 还 错 了 地 方 ”。 

由 于 C 语 言 不 像 C++ 一 样 提 供 了 那么 多 的 定制 性 ，C library 通 币 都 会 
路 认 下 接 用 mallocfree 来 分 配 和 释放 内 存 ， 不 存在 上 面 提 到 的 “内 存 还 钳 
地 方 ” 问 题 。 或 者 有 的 考虑 更 全 面 的 C library 会 让 你 注册 两 个 函数 ， 用 于 
其 内 部 分 配 和 释放 内 存 ， 这 隋 能 完全 营 控 该 library 的 内 存 使 用 。 这 种 依 
赖 注入 的 方式 在 C++ 里 变 得 花哨 而 无 用 ， 见 笔者 号 的 《C++ 标准 库 中 的 
allocator 是 多 余 的 》 :。 

但 是 ， 如 果 重 载 了 ::operator new0O， 事 情 恐 介 束 没有 这 人 么 简单 了 。 


12.2.5” 重 载 ::operator new( 的 困 幸 


自 完 ， 重 载 ::operator new0 不 会 给 C 语 言 的 库 市 来 任何 麻烦 。 当 然 ， 
重 载 它 得 到 的 三 点 好 处 也 无 法 让 C 语 言 的 库 语 受到。 以 下 仅 考 虑 C++ 
library 和 和 主 程序 。 


规则 1: 绝对 不 能 在 library 里 重 载 ::operator new() 


如 果 你 是 茶 个 library 的 作者 ， 你 的 library 要 提供 给 别人 使 用 ， 那 么 
你 无 权重 载 全 局 ::operator new(size_t) (注意 这 是 前 面 提 到 的 第 一 种 重 载 
方式 ) ， 因 为 这 非常 其 有 侵略 性 : 任何 用 到 你 的 library 的 程序 都 被 据 使 
用 了 你 重 载 的 ::operator newO， 而 别人 很 可 能 不 愿意 这 么 做 。 另 外 ， 如 
果 有 两 个 library 都 试图 重 载 ::operator new(size_t)， 那 么 它们 会 打架 ， 我 
估计 会 发 生 duplicated symbol link error。 (这 还 算是 好 的 ， 如 果菜 个 实 
现 偷偷 盖 住 了 夯 一 个 实现 ， 会 在 运行 时 发 生 话 开 的 现象 。) 干脆 ， 作 为 
library 的 编 与 者 ， 大 家 都 不 要 重 载 ::operator new(size {) 好 了 。 


那么 第 二 种 重 载 方式 呢 ? 

首先 ，::operator new(size_t size, const char* file, int line) 这 种 方式 得 
到 的 void* 指 针 必 须 同 时 能 被 ::operator delete(void*) 和 ::operator 
delete(void* p, const char* file, int line) 这 两 个 水 数 释放 。 这 时 候 你 需要 决 
定 ， 你 的 ::operator new(size_t size, const char* file, int line) 返 回 的 指针 是 
不 是 兼容 系统 默认 的 ::operator delete(void*)。 

如 果 不 莱 容 ( 也 就 是 说 不 能 用 系统 默认 的 ::operator delete(void*) 来 
释放 内 存 ) ， 那 么 你 得 重 载 ::operator delete(void*)， 让 它 的 行为 与 你 
的 ::operator new(size_t size, const char* file, int line)| 人 L 配 。 一 旦 你 决定 重 
载 ::0perator delete(void*])， 那 么 你 必须 重 载 ::operator new(size_t)， 这 整 
回 到 了 规则 1: 你 无 权重 载 全 局 ::operator new(size _f)。 

如 果 选 择 兼容 系统 默认 的 ::operator delete(void*)， 那 么 你 
在 ::operator new(size_t size, const char* file, int line) 里 能 做 的 事情 非常 有 
限 ， 比 方 说 你 不 能 额外 动态 分 配 内 存 来 做 house keeping 或 保存 统计 数据 

(无 论 显 式 还 是 隐 式 ) ， 因 为 系统 默认 的 ::operator delete(void*) 不 会 释 

放 你 额外 分 配 的 内 存 。《〈 这 里 隐 陈 分 配 内 存 指 的 是 往 std::map<> 这 样 的 
容 苍 里 次 加 元 隶 。) 看 到 这 里 ， 估 计 很 多 人 已 经 军 了 ， 但 这 还 没完 。 

其 次 ， 在 library 里 重 载 ::operator new(size_t size, const char* file, int 
line) 还 涉及 你 的 重 载 要 不 要 暴露 给 library 的 使 用 者 〈 其 他 library 或 主 程 
序 ) 。 这 里 “和 双 露 "有 两 层 意 思 : 


1. 包公 你 的 头 文 件 的 代码 会 不 会 用 你 重 载 的 ::operator new()， 
2. 重 载 之 后 的 ::operator new0 分 配 的 内 存 能 不 能 在 你 的 library 之 外 
馈 安 全 地 释放 。 如 果 不 行 ， 那 么 你 是 不 是 要 雄 露 条 个 接口 函数 来 让 使 用 
者 安全 地 释放 内 存 ? 或 者 返回 Shared_ptr， 利 用 其 “捕获 ” 析 构 动作 
Cdeleter) 的 特性 ? (81.10) 


上 去 好 像 挺 复 林 ?这 里 就 不 一 一 展开 讨论 了 了 。 忌 之 ， 作 为 library 
的 作者 ， 我 建议 你 绝对 不 要 动 * 重 载 ::operator new(02” 的 念头 。 


事实 2: 在 主 程序 里 重 载 ::operator new0) 的 作用 不 大 


这 不 是 一 条 规则 ， 而 是 我 试图 说 明 这 么 做 没有 多 大 意义 。 

如 果 用 第 一 种 方式 重 载 全 局 ::operator new(size_t)， 会 影响 本 程序 用 
到 的 所 有 C++ library， 这 么 做 或 许 不 会 有 什么 问题 ， 不 过 我 建议 你 使 用 
8$12.2.6 介 绍 的 更 向 单 的 “ 蔡 代 办 法 ”。 

如 果 用 第 二 种 方式 重 载 ::operator new(size_t size, const char* file, int 


line)， 那 么 你 的 行为 是 售 囊 及 本 程序 用 到 的 其 他 C++ library 呢 ?比方 说 
你 要 不 要 统计 C++ library 中 的 内 存 使 用 情况 ?” 如 有 果菜 个 library 会 返回 它 
目 己 用 new 分 配 的 内 存 和 对 象 ， 让 你 用 完 之 后 目 己 和 释放， 那么 是 含 打算 
对 错误 释放 内 存 做 检查 ? 

C++ library 在 代码 组 织 上 有 两 种 形式 : 


1. 以 头 文件 方式 提供 (如 以 STL 和 Boost 为 代表 的 模板 库 )，; 
2. 以 头 文 件 + 二 进 制 库 文 件 方式 提供 《大 多 数 非 模板 库 以 此 方式 用 
让 


对 于 纯 以 头 文 件 方式 实现 的 library， 可 以 在 你 的 程序 的 每 个 .cpp 文 
件 的 第 一 行 包 含 重 载 ::operator newO 的 头 文 件 ， 这 样 程 序 里 用 到 的 其 他 
C++ library 也 会 转 而 使 用 你 的 ::operator new0) 来 分 配 内 存 。 当 然 这 是 一 种 
相当 有 侵略 性 的 做 法 ， 如 果 运 气 好 ， 编 译 和 运行 都 没 问题 ; 如果 运气 所 
一 点 ， 可 能 会 过 到 编译 错误 ， 这 其 实 还 不 算 坏 事 ; 如 条 运气 更 天 一 点 ， 
编译 没有 错误 ， 运 行 的 时 候 时 不 时 地 出 现 非 法 访问 ， 导 致 sgment 
fault; 或 者 在 某 些 情况 下 你 定制 的 分 配 策略 与 library 有 冲突 ， 内 存 数 据 
损坏 ， 出 现 艳 名 其 妙 的 行为 。 

对 于 以 库 文 件 方式 实现 的 library， 这 么 做 并 不 能 让 其 受 惠 ， 因 为 
library 的 源 文件 已 经 编译 成 了 二 进 制 代码 ， 它 不 会 调用 你 新 壬 载 
的 ::operator new。 〈 想 想 看 ， 已 经 编 详 的 二 进 制 代码 怎么 可 能 提供 额外 
的 new (_FILE _， LINE_) 参 数 呢 ? ) 更 奔 烦 的 是 ， 如 果 菏 些 头 文件 
有 inline 函 数 ， 还 会 引起 顽 寞 的 “串扰 ”>。 即 library 有 的 部 分 用 了 你 的 分 配 
右 ， 有 的 部 分 用 了 系统 默认 的 分 配 右 ， 然 后 在 释放 内 存 的 时 候 没 有 给 对 
地 方 ， 造 成 分 配 可 的 数据 结构 被 破坏 。 

忌 之 ， 第 二 种 重 载 方式 看 似 功 能 更 丰富 ， 但 其 实 与 程序 里 使 用 的 其 
他 C++ library 很 难 无 颖 配合 。 

综 上 ， 对 于 现实 生活 中 的 C++ 项 目 ， 重 载 ::operator newO 几 乎 没有 
用 武之 地 ， 因 为 很 难处 理 好 与 程序 所 用 的 C++ library 的 天 系 ， 毕 葛 大 多 
数 library 在 设计 的 时 候 没 有 考虑 到 你 会 重 载 ::operator new() 并 强 轩 给 它 。 

如 末 硝 实 需 要 定制 内 存 分配 ， 访 如 何 办 ? 


12.2.6 ”解决 办 法 : 茶 换 malloc() 
很 简单 ， 蔡 换 mallocO0。 如 末 需 要 ， 直 接 从 malloc 层 面 入 手 ， 通 过 


LD_PRELOAD 来 加 载 一 个 .so， 其 中 有 malloc/free 的 蔡 代 实现 (drop-in 
replacement) ， 这 样 能 同时 为 C 和 C++ 代码 服务 ， 而 且 避 人 免 C++ 重 


载 ::operator newO 的 阴 蜡 角 洲 。 

对 于 “检测 内 存 错误 ”这 一 用 法 ， 我 们 可 以 用 valgrind、dmalloc、 
efence 玉 达到 相 同 的 目的 ， 专 业 的 除 钳 工具 比 目 己 “山寨 ”一 个 内 存 检 得 
做 要 基 谐 。 

对 于 “统计 内 存 使 用 数据 ”， 和 蔡 换 malloc 同 样 能 得 到 下 够 的 信息 ， 
为 我 们 可 以 用 backtraceO) 疯 数 来 获得 调用 栈 ， 这 比 new (_ FILE_， 
_LINE_) 的 信息 更 丰富 。 比 方 说 你 明 过 分 析 (_ FILE _ ， LINE_) 友 现 
std::string 大 量 分 配 释 放 内 存 ， 有 超出 预期 的 开销 ， 但 是 你 却 不 知道 代码 
里 哪 一 部 分 在 反复 创建 和 销毁 std::string 对 象 ， 因 为 (_FILE_ ， 
_LINE_ ) 只 能 告诉 你 最 内 层 的 调用 疯 数 。 用 backtraceO) 能 找到 真正 的 发 
起 调用 者 。 

对 于 “性 能 优化 ”这 一 用 法 ， 我 认为 在 目前 的 多 线程 开 友 中 ， 目 己 实 
现 一 个 能 打败 系统 默认 的 malloc 的 内 和 存 分 配器 是 不 现实 的 。 一 个 通用 的 
内 存 分 配 右 本 来 瓯 有 相当 的 难度 ， 为 多 线程 程序 实现 一 个 安全 和 高 效 的 
通用 《全 局 ) 内 存 分 配套 超出 了 一 和 肯 开 有 友人 员 的 能 力 。 不 如 使 用 现 有 的 
针对 多 核 多 线程 优化 的 malloc， 例 如 Google tcmalloc 和 Intel TBB 里 的 内 
存 分 配 部 :。 好 在 这 些 allocator 都 不 是 侵入 陈 的 ， 也 无 顷 重 载 ::operator 


new!()。 


12.2.7 “为 单独 的 class 重 载 ::operator new0O 有 问题 吗 


与 全 局 ::operator new0 个 同 ，per-class operator new() 和 operator delete 
0 的 影响 面 要 小 得 多 ， 它 只 影响 本 class 及 其 派生 类 。 似 乎 重 载 member 
::operator new0O 古 可 行 的 。 我 对 此 持 反 对 态度 。 

如 果 一 个 class Node 需 要 重 载 member ::operator new()， 说 明 它 用 到 
了 特殊 的 内 存 分 配 策略 ， 币 见 的 情况 是 使 用 了 内 存 池 或 对 象 池 。 我 宁愿 
把 这 一 事实 明显 地 摆 出 来 ， 而 不 是 改变 new Node 语 句 的 默认 行为 。 其 体 
地 说 ， 是 用 factory 来 创建 对 象 ， 比 如 static Node* Node::createNode0 或 者 
static Shared_ptr<Node> Node::createNode()。 

这 可 以 归结 为 最 小 惊讶 原则 : 如 果 我 在 代码 里 证 到 Node* p 王 new 
Node， 我 会 认为 它 在 heap 上 分 配 了 了 内存。 如 果 Node class 重 载 了 member 
::operator new()， 那 么 我 要 事先 仔细 阅读 node.h 才 能 发 现 其 实 这 行 代码 使 
用 了 私有 的 内 存 池 。 为 什么 不 与 得 明确 一 点 呢 ? 与 成 Node*x p 三 
NodeFactory::createNode()， 那 么 我 能 猜 到 NodeFactory::createNode() 肯 定 
做 了 什么 与 new Node 不 一 样 的 事情 ， 免 得 将 来 大 吃 一 尺 。 

The Zen of Python 说 “explicit is better than implicit*， 我 深信 不 疑 。 


12.2.8 ”有 必要 日 行 定 制 内 存 分 配 佛 吗 


如 果 写 一 个 人 简单 的 只 能 分 配 固定 大 小 的 allocator， 确 实 很 容易 做 a 到 
比 系统 的 malloc 更 快 ， 因 为 每 次 分 配 操作 就是 移动 一 下 指针 。 但 是 我 认 
为 普通 程序 员 很 难 写 出 可 以 与 jibc 的 malloc 相 旭 美 的 通用 内 存 分 配 谷 ， 
在 多 核 多 线程 时 代 更 是 如 此 。 因 为 libc 有 专人 维护 ， 会 不 断 把 适合 新 便 
件 体系 结构 的 分 配 算 读 与 脓 略 整合 进去 。 在 打算 与 目 己 的 内 存 凶 之 前 ， 
建议 先 看 一 看 Andrei Alexandrescu 在 ACCU 2008 会 议 的 演讲 《Memory 
Allocation: Either Love it or Hate It (Or Think It's Just OK)》2 和 论文 

《Reconsidering Custom Memory Allocation》 2 。 

i 

重 载 ::operator new() 或 许 在 菏 些 临时 的 场合 能 应 个 急 ， 但 古 不 应 该 
作为 一 种 脓 略 来 使 用 。 如 末 需 要 ， 我 们 可 以 从 malloc 层 面 入 手 ， 彻 撒 敬 
换 内 存 分 配 融 。 


12.3 ”市 从 写 整 数 的 除法 与 余数 


最 近 研 究 整 数 到 字符 串 的 转换 ， 读 到 了 Matthew Wilson 的 《Efficient 
Integer to String Conversions》 系 列 文章 2。 他 的 巧妙 之 处 在 于 ， 用 一 个 
对 称 的 digits 数 组 搞定 了 负数 转换 的 边界 条 件 〈 二 进 制 补 码 的 正 负 整数 
表示 汽 围 不 对 称 )。 代 码 大 致 如 下 ， 经 过 改写 : 


const charx convert(char buf[], int value) 
{ 
static char digitsL19] = 
{ 日 1 多 全” L 人 ws 让 
0 而 所 条 人 本 ， 7 2 名 ， 全” }; 
static const char* zero = digits + 9; /i/ 了 指 问 8， 


/i works for -2147483648 ., 2147483647 
int 1 = value: 
char* p = buf: 
do +{ 
/* lsd - least significant digit 
int lsd = i % 160; // lsd 可 能 小 于 8 
i /e140 // 是 向 下 取 稀 还 是 向 零 取 整 ? 
*p++ = zero[lsd]; // 下 标 可 能 为 负 
while (i != @): 


if (value < @) 1{ 
*pt++ = 一 : 
} 
xD = '\O'; 
std: :reverse(buf, p):; 
return p; // p - buf 为 整数 长 度 


这 段 徊 短 的 代 人 码 对 32-bit int 的 全 部 取信 都 定 正确 的 《从 -2147483648 
到 2147483647) 。 可 以 视 为 itoa0 的 参考 实现 ， 算 是 面试 的 标准 答案 。 
读 到 这 份 代码 ， 我 的 心中 慑 时 升 起 一 个 性 谍 ， 《C Traps and 
Pitfalls》 第 7.75 J C 语 言 中 的 整数 除法 (VY/) 和 取 模 “%) 运算 在 操 
作 数 为 负 的 时 候 ， 经 术 丰 implementation-defined* 
也 束 是 说 ， 如 果 m、 d 都 是 整数 ， 


int gg = m/ d; 
int Fr = m% d; 
那么 C 语 言 只 (保证 m 二 qxd 十 r。 如 果 m、d 当 中 有 负数， 那么 q 和 Ir 的 正 负 
号 是 由 实现 决定 的 。 比 如 (-13)/4 二 (-3) 或 (-13)/4= 二 (-4) 都 是 合法 的 。 如 果 
采用 后 一 种 实现 ， 那 么 这 段 转换 代码 就 错 了 《因为 将 有 (-1D)%10 王 9) 。 
只 有 商 同 0 取 整 ， 代 码 才 能 正 稼 工作 。 
为 了 弄 清 这 个 问题 ， 我 研究 了 一 


12.3.1 语言 标准 怎么 说 


C89 ”我 手头 没有 ANSI C89 的 文稿 ， 只 好 求助 于 [K&R]， 此 书 第 41 
页 第 2.5 节 讲 到 “The direction of truncation for / and the sign of the result for 
% are machinedependent for negative operands, ..….” 人 确实 是 实现 相关 的 。 为 
此 ，C89 专 门 提 供 了 div0O 函 数 ， 这 个 函数 算出 的 商 是 癌 0 取 你 的 ， 便 于 编 
写 可 移植 的 程序 。 我 得 再 去 俘 C++ 标 准 。 

C++98 ”第 5.6.4 世 写 道 : “If the second operand of / or % is zero the 
behavior is undefined; otherwise (a/b)*b+-a%b is equal to a. If both operands 
are nonnegative then the remainder is nonnegative; if not, the sign of the 
remainder is implementation-defined.>”C++ 也 没有 规定 余数 的 正 负 号 

CC++03 的 叙述 与 此 一 模 一 样 ) 。 

不 过 这 里 有 一 个 注脚 ， 提 到 “According to work underway toward the 
revision of ISO C, the preferred algorithm for integer division follows the 
rules defined in the ISO Fortran standard, ISO/IEC 1539:1991, in which the 
quotient is always rounded toward zero.” 即 C 语 言 的 修订 标准 会 采用 和 
Fortran 一 样 的 取 整 算法 。 我 义 去 查 了 了 C99 标准 。 

C99 ”第 6.5.5.6 世 说 “When integers are divided, the result of the / 
operator is the algebraic quotient with any fractional part discarded.”( 脚 
注 : This is often called“truncation toward zero”.) 

C99 明 确 规定 了 商 是 向 0 取 整 的 ， 也 就 是 意味 痢 余 数 的 符号 与 被 除数 
相同 ， 前 面 的 转换 算法 能 正 间 工作 。C99 Rationale# 提 到 了 这 个 规定 的 
原因 : “In Fortran, however, the result will alwavys truncate toward zero, and 
the overhead seems to be acceptable to the numeric programming 
community. Therefore, C99 now requires similar behavior, which should 
facilitate porting of code from Fortran to C.” 既 然 Fortran 在 数值 计算 领域 都 
做 了 如 此 规定 ， 说 明 开 销 (如 果 有 的 话 ) 是 可 以 接受 的 。 

C++11 ”标准 第 5.6.4 节 玉 用 了 与 C99 类 似 的 表述 : “For integral 
operands the/ operator yields the algebraic quotient with any fractional part 
discarded; (This is often called truncation towards zero.)” 可 见 C++ 还 是 尽力 
保持 与 C 的 兼容 性 。 

小 结 : C89 和 C++98 都 留 给 实现 去 决定 ， 而 C99 和 C++1l 痢 规定 丙 加 
0 取 整 ， 这 算是 语言 的 进步 吧 。 


12.3.2 ”C/C++ 编译 器 的 表现 
我 主要 关心 G++ 和 VC++ 这 两 个 编译 器 。 需 要 说 明 的 是 ， 用 代码 案 


例 来 探查 编译 器 的 行为 是 靠不住 的 ， 尽 管 前 面 的 代码 在 两 个 编译 器 下 者 
能 正常 工作 。 除 非 在 文档 里 有 明确 表述 ， 否 则 编译 器 可 能 会 随时 更 改 实 





现 一 -毕竟 我 们 关心 的 残 是 implementation-defined 行 为 。 

G++ 4.4: GCC always follows the C99 requirement that the result of 
division is truncated towards zero. G++ 一 直 对 循 C99 规 范 ， 商 癌 0 取 整 ， 算 
法 能 正常 工作 。 

Visual C++ 2008 £: The sign of the remainder is the same as the sign o 
the dividend. 这 个 说 法 与 商 辐 0 取 整 是 等 价 的 ， 算 法 也 能 正 常 工作 。 


12.3.3 ”其 他 语言 的 规定 


既然 C89/C++98/C99/C++0x 已 经 很 有 多 样 性 了 ， 索 性 弄 清 苞 其 他 语 
言 是 怎么 定义 整数 除法 的 。 这 里 只 列 出 笔者 接触 过 的 几 种 钊 用 语言 。 

Java Java 语 言 规 沁 ?明确 说 “Integer division rounds toward 0”。 田 
外 对 于 int 整 数 际 法 次 出 ， 特 别 规定 个 抛 异 音 ， 且 -2147483648/-1 
二 -2147483648〔( 以 及 相应 的 long 版 本 )〉。 

C#  C# 3.0 语 言 规定 “The division rounds the result towards zero”。 
对 于 次 出 的 情况 ， 规 定 在 checked 上 下 文中 抛 ArithmeticException 关 着 
在 unchecked 上下文 里 没有 明确 规定 ， 可 抛 可 不 扫 。( 据 了 解 ，C# 1.0/2.0 
可 能 有 所 不 同 。 ) 

Python ”Python 在 语言 参考 手册 ?的 显著 位 置 标 明 ， 丙 生 同 负 无 筋 
取 整 。 (Plain or long integer division yields an integer of the same type:; the 
result is that of mathematical division with the floor function applied to the 
result. ) 

Ruby “Ruby 的 语言 手册 没有 明说 ， 不 过 库 的 手册 2 说 明了 也 是 同 
负 无 穷 取 整 。 (The quotient is rounded toward-infinity. ) 

Perl ”Perl 语言 默认 按 浮 点 数 来 计算 除法 #， 上 所 以 没有 这 个 问题 。 
Perl 的 整数 取 模 运算 规则 与 Python/Ruby 一 致 。 

不 过 要 注意 ，use integer; 有 可 能 会 改变 运算 结果 ， 例 如 : 


print -10 % 3; // => 2 


Use lntegers: 
print -1@ % 3; // => -1 

Lua “Lua 缺 省 没有 整数 类 型 ， 除 法 一 律 按 浮 点 数 来 算 ， 因 此 不 涉 
及 商 的 取 整 。 

综 上 所 述 ， 在 整数 除法 的 取 整 问题 上 ， 语 言 分 为 两 个 阵营 ， 脚 本 语 
言 彼 此 是 相似 的 ，C99/C++11/Java/C# 则 属于 另 一 个 阵营 ， 在 移植 代码 
时 要 小 心 。 既 然 Python 和 Ruby 的 官方 解释 器 都 是 用 C 实 现 的， 但 是 运算 
规则 又 目 成 一 体 ， 那 么 必定 能 从 代码 中 找到 证 气 。 


12.3.4 ”脚本 语言 解释 器 代码 


Python 的 代码 很 好 读 ， 我 很 快 束 找到 了 2.6.6 版 实现 整数 除法 和 取 标 
运算 的 函数 i_divmod0*。 


python/tags/r266/0bjects/intobject.c 


565 yx Return type of i_divmod */ 
566 enum divmoed_result { 


ser 
J68 
S69 


570 }: 


sr71 


DIVMOD_OK ， /x Correct result x*/ 
DIYMOD_OVYERFLOW, :x OQverflow, try again Using longs */ 
DIVMOD_ERROR /x Exception raised 二 / 


572 static enum divymod_result 
573 1i_divymod(register long x, register long y, 


| 
575 { 
576 


609 
610 3} 


long *p_xdivy, long *p_xmody) 
long xdivyy, xmody: 


i (Y¥ == 全 六 
PyErr_SetString(PyExc_zZeroDivisionError, 
"integer division or modulo by zero ) ; 
return DIVMOD_ERROR: 


} 
/* (-sys.maxint-1)/-1 is the only overflow case. */ 
if (y == -1 && UNARY_NEG_WOULD_OVERFLOW(x)) 


return DIVMOD_OVERFLOW 
xdivy = x / Yi 
/x XUivxy can overflow on platforms Where x/y gives floor(x/y) 
* for x and y with differing signs. (This is unusual 
behaviour, and C99 pronhibits it, but it s allowed by C89: 
for an example of overflow, take x = LONG_MIN, y= 5 or x = 
LONG_MAX, ¥ = -5.) However, x - xdivy*y 15 always 
representable as a long, since it lies strictly between 
-abs(y) and abs(y). We add casts to avold intermediate 
overflow. 


还 :六 名 和光 站 


x 
xmody = (long)(x - (unsigned long}xdivy * Yy， 
/> If the signs of x and y differ, and the remalnder 1S non-8, 
* C89 doesn't define whether xdivy is now the floor or the 
* ceiling of the infinitely preclse quotient,. We want the floor, 
x and we have it iff the remainder's sign matches y's. 
x 
if (xmody && (Cy * xmody) < 0) /* i.e, and signs differ */) { 
xmody += Y: 
-Xdivy; 
assert(xmody && (Cty * xmody) >= 6@)): 
} 
x*p_xdivy = xdivy: 
*p_xmody = xmody.; 
return DIVMOD_OK ; 


python/tags/r266/0bjects/intobject.c 


注意 到 这 段 代 码 甚 至 考虑 了 -2147483648/-1 在 32-bit 下 会 溢出 这 个 特 
殊 情 况 ， 让 我 大 吃 一 惊 。 宏 定义 UNARY NEG_ WOULD _ OVERFLOW 
和 函数 int_mul0) 前 面 的 注释 也 值得 一 读 。 
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python/tags/r266/0Qbjects/intobject.c 
/xx Integer overflow checking for unary negation: on a 2's-complement 
box, -x overflows iff x is the most negative long. In this case we 
get -X == X， However, -x is Undefined ‘by C) if x /is/ the most 
negative long (it's a signed overflow case), and some compilers care. 
So We cast x to unsigned long first. However, then other compilers 
warn about applying unary minus to an unsigned operand. Hence the 
* Weird "9-". 
*/ 


证 汪 党 洽 让 


#define UNARY_NEG_WOULD_OQOVERFLOW(xXx) \ 


(Cx) < 0 && Cunsigned long)(x) == 0-(unsigned long) (x)) 
python/tags/r266/0bjects/intobject.c 


python/tags/r266/0bjects/intobject.c 
1 二 
Integer overflow checking for * 1is painful: Python tried a couple ways，but 
they gidgn t work on all platforms, or failed in endcases (a product of 
-sys.maxint-1 has been a particular pain). 


Here's another way: 


The native long Product xx*y is either exactly right or *way* off, beineg 
Just the last n bits of the true product, where n is the number of bits 
in a long (the delivered product is the true product plus ix2**rl for 
some integer 1). 


The native double product (double})x * (double)y is subject to three 
rounding errors: on a sizeof(long)==8 box, each cast to double can lose 
info, and even on a sizeof (long)==4 box, the multiplication can lose info. 
But, unlike the native long product, it's not In *range* trouble: even 
if sizeof (loneg)==32 (256-bit longs), the product easily fits in the 
dynamic range of a double. So the leading 58 (or SO) bits of the double 
product are correct. 


We check these two ways against each other, and declare victory if they re 
approximately the same. Else, because the native long product is the only 
one that can lose catastrophic amounts of information, it's the native long 
product that must have overflowed. 

x 


static PyQbject * 
int_mul PyObject *y, PyObject *w) 
{ 
long a, b: 
long longprod: :x axb in native long arithmetic x*/ 
double doubled_longprod; /x (double)longprod */ 
double doubleprod:; :x* (double)a * (double)b */ 


CONYERT_TO_LONG(Y, a): 

CONYERT_TO_LONG(w, b): 

fx Casts in the next line avoid undefined behaviour on overflow */ 
longprod = (lone)((unsigned long)a * b): 

doubleprod = (double}a * (double)b: 


doubled_longprod = (double}longprod; 


A 


if 


Fast path for normal case: small multiplicands, and no info 
is lost in either method. */ 

(doubled_longprod == doubleprod) 

return PyInt_FromLong(longprod):; 


Somebody somewhere lost info. Close enough, or Way off? Note 
that a != 6@ and b != 8 (celse doubled_longprod == doubleprod == 0). 
The difference either is or isn t significant compared to the 
true value (Cof which doubleprod is a good approximation). 


const double diff = doubled_longprod - doubleprod; 
const double absdiff = diff >= @.8 ? diff : -diff: 
const double absprod = doubleprod >= 8.0 ? doubleprod : 
-doubleprod:; 
/x* absdiff/absprod <= 1/32 iff 
32 大 absdiff <= absprod -- 5 good bits is "close enough™ */ 
if (32.8 * absdiff <= absprod) 
return PyInt_FromLong(tlongprod); 
else 
return PyLong_Type.tp_as_number-—>nb_muyultiply(v, w); 


python/tags/r266,0bjects/intobject.c 


Ruby 的 代码 要 混乱 一 些 ， 花 点 时 间 还 是 能 找到 的 。 以 下 是 Ruby 


1.8.7-p334 的 实现 ， 位 于 fixdivmod0O 函 数 。: 


ruUbyV/tagsAv1T 8 7 334/numeric.c 
2185 static void 
2186 fixdivymod(x, y, divp, modp) 


2187 Jong x, yy: 

2188 long *divp, *modp: 

2189 二 

2190 long div, mod: 

2191 

2192 if (y == @) rb_num_zerodiv(). 
2193 if Cy < @) 1{ 

2194 if (x < 8) 

2195 div = -x / -Yy: 
2196 else 

2197 dv = - (x / -y); 
2198 } 

2199 else { 

2200 if (x < 8) 

2201 了 LV = =- (-x / y): 
2202 else 

2203 dv = x Yi 

2204 } 

2205 mod = x - divxy; 

2206 if ((mod < @ && vy > 8) || (mod > 0 && YYy < O07) I{ 
2207 mod += Y; 

2208 div -= 1: 

2209 

2210 if (divp) *divp = div: 
2211 if (modp) *modp = mod; 
2212. 1 


ruby/tags/vy1 8 7 334/numeric.c 


注意 到 Ruby 的 Fixnum 台 数 的 表示 范围 比 机 辫 字 长 小 lbit， 直 接 避 免 
省 洲 出 的 可 能 。 


12.3.5” 便 件 实现 


既然 C/C++ 以 效率 著称 ， 那 么 应 该 是 贴近 硬件 实现 的 。 我 考察 了 几 
种 第 见 的 便 件 平 侣 ， 它 们 基本 都 文 持 C99/C++11 的 语意 ， 也 融 是 说 新 规 
定 没 有 额外 开销 。 列 举 如 下 。 《其实 我 们 只 关心 带 符 号 除法 ， 不 过 为 了 
完整 性 ， 这 里 一 并 列 出 unsigned/signed 整 数 除 法 指令 。 ) 

Intel x86/x64 ”Intel x86 系 列 的 DIVWIDIV 指 令 明 确 提 到 是 向 0 取 整 ， 
与 C99、C++11、Java、C# 一 致 。 

MIPS ”很 奇怪 ， 我 在 MIPS 的 参考 手册 里 没有 查 到 DIV/DIVU 指 令 
的 取 整 方 同 ， 不 过 根据 Patternson & Hennessy* 的 讲解 ， 似 乎 回 0 取 整 便 
件 上 实现 起 来 比较 容易 。 

ARMUVCortex-M3 ARM 没 有 便 件 除法 指令 ， 所 以 不 存在 这 个 问 


题 。Cortex-M3 有 硬件 除法 ，SDIV/UDIV 指 令 都 是 向 0 取 整 的 。Cortex- 
M3 的 除法 指令 不 能 同时 算出 余数 ， 这 很 特殊 。 

MMIX MMIX 是 Donald Knuth 设 计 的 64-bit CPU， 蔡 换 原 来 的 
MIX 机 大 。DIV 和 DIVU 指 令 都 是 同 钢 无穷 取 整 ， 这 是 我 知道 的 唯一 文 
持 Python/Ruby 语 义 的 “人 硬件” 平台。 

1 

想不到 小 小 的 整数 除法 都 有 这 么 多 名 堂 。 一 段 只 涉及 整数 运算 的 代 
伺 ， 即 便 能 在 各 种 语法 相似 的 语言 里 运行 ， 结 果 也 可 能 完全 不 同 。 把 C 
语言 里 运行 得 好 好 的 整数 运算 代码 原样 复制 到 Python 里 ， 也 可 能 因为 负 
数 除法 而 出 错 。 反 之 亦 然 ， 用 Python 编 写 的 原型 代码 移植 到 C/C++ 里 也 
可 能 出 现行 为 寞 弟 ， 不 可 不 察 。 

在 实际 项 目 中 ， 可 以 使 用 特定 的 指令 加 速 ， 参 见 
http://wm .Ite.pl/articles/sse-itoa.html! 。 


12.4 在 单元 测试 中 mock 系 统 调 用 


本 书 $9.7 曾 经 谈 到 单元 测试 在 分 布 式 程序 开发 中 的 优 缺 点 〈 主 要 是 
缺点 ) 。 但 是 ， 在 某 些 情况 下 ， 单 元 测试 是 很 有 必要 的 ， 在 测试 failure 
场景 的 时 候 尤 其 重要 ， 比 如 : 


-在 开发 存储 系统 时 ， 模 拟 read(2)/write(2) 返 回 EIO 错 误 (有 可 能 是 
做 盘 与 满 了 ， 也 有 可 能 是 做 盘 出 现 了 坏 道 谈 不 出 数据 ) 。 

:在 开发 网 络 库 的 时 候 ， 模 拟 write(2) 返 回 EPIPE 错 误 〈 对 方 意外 断 
开 连 接 ) 。 

:在 开发 网 络 库 的 时 候 ， 模 拟 目 连接 〈self-connection) ， 网 络 库 应 
该 用 getsockname(2) 和 getpeername(2) 判 断 是 否 是 自 连 接 ， 然 后 断 开 之 。 

在 开发 网 络 库 的 时 候 ， 模 拟 本 地 ephemeral port 耗 尽 ，connect(2) 返 
回 EAGAINI 临 时 错误 。 

“让 gethostbyname(2) 返 回 我 们 预 设 的 值 ， 防 止 单元 测试 给 公司 的 
DNS Server 市 来 太 大 压力 。 


这 些 test case 瓯 怕 很 难 用 前 文 提 到 的 test harness 来 测试 ， 访 单元 测试 
上 场 了 。 现 在 的 问题 是 ， 如 何 mock 这 些 系 统 函 数 ? 或 者 换 名 话说， 如 
何 把 对 系统 函数 的 依赖 注入 被 测 程序 中 ? 


12.4.1 系统 水 数 的 依赖 注入 


在 《修改 代码 的 艺术 》[WELC] 一 书 第 4.3.2 节 中 ， 作 者 介绍 了 链接 
期 接 缝 〈link seam) ， 正 好 可 以 解决 我 们 的 问题 。 另 外 ， 在 Stack 
Overflow 的 一 个 帖子 s 里 也 总 结 了 几 种 做 法 。 

如 果 程 序 〈 库 ) 在 编写 的 时 候 束 考虑 了 可 测试 性 ， 那 么 用 不 到 上 面 
人 我 们 可 以 从 议 计 上 解决 依赖 注入 的 问题 。 这 里 提供 两 个 思 
路 。 

其 一 “采用 传统 的 面 癌 对 象 的 手法 ， 信 助 运行 期 的 到 绑 定 实现 注 
入 与 符 换 。 目 己 写 一 个 System interface， 把 程序 里 用 到 的 open、close、 
read、write、connect、bind、listen、accept、gethostname、 
getpeername、 getsockname 等 等 闵 数 统统 用 虚 了 水 数 封装 一 层 。 然 后 在 代 
公里 不 要 直接 调用 open()， 而 是 调用 System::instance().open()。 这 样 代码 
主动 把 控制 权 交 给 了 System interface， 我 们 可 以 在 这 里 动 动手 脚 。 在 写 
单元 测试 的 时 候 ， 把 这 个 singleton instance 奉 换 为 我 们 的 mock object， 这 
样 吏 能 模拟 各 种 error code。 

其 二 ”采用 编译 期 或 链接 期 的 壕 绑 定 。 注 意 到 在 第 一 种 做 法 中 ， 
运行 期 多 态 是 不 必要 的 ， 因 为 程序 从 生 到 死 只 会 用 到 一 个 
implementation object。 为 此 付出 虚 函 数 调 用 的 代价 似乎 有 些 不 值 。 (其 
实 ， 跟 系统 调用 比 起 来 ， 虚 函数 这 点 开销 可 急 略 人 不计。) 

我 们 可 以 与 一 个 system namespace 头 文件 ， 在 其 中 声明 read0 和 
write() 守 普通 函数 ， 然 后 在 .cc 文件 里 转发 给 对 应 系统 的 系统 函数 ::read() 


和 ::write() 等 。 


muduo/net/SocketsOps.h 
namespace sockets 
l 
int connect(int sockfd, const struct sockaddr_in& addr): 
+ 
muduo/net/SocketsOps.h 


muduo/net/SocketsOps.cc 
int sockets: :connect(int sockfd, const struct sockaddr_in& addr) 


{ 


return ::connect(sockfd, sockaddr_cast(&addr), sizeof addr): 


. muduo/net/SocketsOps.cc 
有 J 这么 一 层 间接 性 ， 就 可 以 在 编写 时 元 测试 的 时 低 动 动手 脚 ， 链 
接 我 们 的 stub 实 现 ， 以 达到 蕉 换 实 现 的 目的 : 


MockSocketsOps.cc 
Int sockets::connect(int sockfd, const struct sockaddr_in& addr) 


errno = EAGAIN; 
retuyurn -1: 
} 
MockSocketsOps.cc 

一 个 C++ 程序 只 能 有 一 个 main0 入 口 ， 所 以 要 先 把 程序 做 成 library， 
再 用 单元 测试 代码 链接 这 个 library。 假 设 有 一 个 mynetcat 程 序 ， 为 了 编 
写 C++ 早 元 测试 ， 我 们 把 它 拆 成 两 部 分 ， 即 library 和 main()， 源 文件 分 别 
是 mynetcat.cc 和 main.cc。 

在 编 详 普通 程序 的 时 候 : 

g++ main.cc mynetcat.cC SocketsOps.cc -0 mynetcat 

在 编 详 持 元 测试 时 这 么 写 : 

g++ test.cc mynetcat.cc MockSocketsOps.cc -oO test 

以 上 是 最 蚀 持 的 例子 。 在 实际 开 友 中 可 以 让 stub 功 能 更 强大 一 些 ， 
比如 根据 不 同 的 test case 返 回 不 同 的 错误 。 

第 二 种 做 法 无 顷 用 到 虚 函 数 ， 代 码 写 起 来 也 比较 简洁 ， 只 用 前 组 
sockets:: 即 可 。 例 如 在 应 用 程序 的 代 人 里 与 sockets::connect(fd, addr)。 

muduo 日 前 还 没有 涉及 系统 调用 的 时 元 测试 ， 只 古 预 留 了 这 些 
stub 。 

namespace 有 的 好 处 在 于 它 不 是 封闭 的 ， 我 们 可 以 随时 打开 往 里 湛 加 
新 的 函数， 而 不 用 改动 原来 的 头 文 件 。 这 也 是 以 non-member non-friend 
图 数 为 接口 的 优点 。 


以 上 两 种 做 法 还 有 一 个 好 处 ， 即 只 mock 我 们 关心 的 部 分 代码 。 如 
果 程 序 用 到 了 SQLite 或 Berkeley DB 这 些 会 访问 本 地 文件 系统 的 第 三 方 
库 ， 那 么 我 们 的 System interface 或 system namespace 不 会 拦截 这 些 第 三 方 
库 的 open(2)、close(2)、read(2)、write(2) 等 系统 调用 。 


12.4.2 ”链接 期 热 厂 (link seam ) 

如 有 末 程 序 在 一 开始 编码 的 时 候 没 有 考虑 单元 测试 ， 那 么 又 该 如 何 注 
入 mock 系 统 调 用 呢 ? 

上 上面 第 二 种 做 法 已 经 给 出 了 答案 ， 那 束 是 使 用 link seam 〔 和 链接 期 热 


比方 说 要 仿 骨 connect(2) 函 数 ， 那 么 我 们 在 单元 测试 程序 里 实现 一 
个 目 己 的 connectO 函 数 ， 它 遮 闸 了 同名 的 系统 函数 。 在 链接 的 时 候 ， 


la 


linker 会 优先 采用 我 们 目 己 定义 的 水 数 。【〔 这 对 动态 链接 是 成 并 的 ; 如 
果 是 静态 链接 ， 会 报 multiple definition 错 误 。 好 在 绝 大 多 数 情 况 下 libc 是 
动态 链接 的 。 ) 


mock connect(2) 
typedef int (xconnect_func_t) (int sockfd, 
const struct sockaddr x*addr, 
socklen_t addrlen): 


connect_func_t connect_func = dlsym(RTDL_NExXT, ”connect ) ， 


bool mock_connect: 
Int mock_connect_errno: 


/i mock connect 

extern "C” int connect(int sockfd, 
const struct sockaddr x*addr, 
socklen_t addrlen) 


if (mock_connect) 1 
errno = mock_connect_errno: 


return errno == @ ?8 : -1; 
} else 1{ 

return connect_func(sockfd, addr, addrlen): 
} 


1 


mock connect(2) 


如 果 程 序 真 的 要 调用 connect(2) 怎 么 办 ? 在 我 们 自己 的 
mockconnect(2) 里 不 能 再 调用 connect0 了 ， 人 否则 会 出 现 无 限 递归 。 为 了 
防止 这 种 情况 ， 我 们 用 dlsym(RTDL_NEXT,"connect") 获 得 connect(2) 系 
统 函 数 的 真实 地 址 ， 然 后 通过 函数 指针 connect_func 来 调用 它 。 
例子 :ZooKeeper 的 C client library 


ZooKeeper 的 C client library 正 是 采用 了 link seams 来 编 与 单元 测试 ， 
代码 见 : 
http://svn.apache.org/repos/ast/zookeeper/tags/release-3.9./src/c/tests/LibCMocks.h 


http://svn.apache.org/repos/ast/zookeeper/tags/release-3.9.9/src/c/tests/Lib CMocks.cc 
其 他 做 法 
Stack Overflow 的 帖子 里 还 提 到 了 一 个 做 法 ， 可 以 方便 地 丛 换 动态 


库 里 的 函数 ， 即 使 用 ]d(1) 的 --wrap 参 数 ， 文 档 里 说 得 很 清楚 ， 这 里 不 再 


次 述 。 
第 三 方 C++ 库 


Link seam 同 样 适 用 于 第 三 方 C++ 库 
比方 说 公司 的 菏 个 基础 库 团 队 提 供 了 File class， 但 是 这 个 class 没 有 
使 用 虚 函 数 ， 我 们 无 法 通过 sub-classing 的 办 法 来 实现 mock object。 


File.h 
class File : boost::noncopyable 


{ 

public: 
Filetconst char* filename); 
~File(): 


int readn(void* data, int len): 
int writentconst voldx data, int len):; 
slze_t getSize() const: 
private: 
}; 
File.h 


如 果 和 需要 为 用 到 File class 的 程序 编写 单元 测试 ， 那 么 我 们 可 以 目 己 
定义 其 成 员 函 数 的 实现 ， 这 样 可 以 注入 任何 我 们 想 要 的 结果 。 


MockFile.cc 
int File::readn(void* data, int len) 
{ 
return -1: 
} 
MockFile.cc 


这 个 做 法 对 动态 库 是 可 行 的 ， 但 对 于 静态 库 则 会 报错 。 我 们 要 
对 方 提 供 专 供 单 元 测试 的 动态 亩 ， 要 么 拿 过 源码 来 自己 编译 一 个 。 
Java 也 有 类 似 的 做 法 ， 在 class path 里 替换 我 们 自己 的 stub 并 
以 实现 link seam。 不 过 Java 有 很 强 的 反射 机 制 ， 很 少 用 得 痢 link seam 来 
实现 依赖 注入 。 


12.5 ”惯用 匿名 namespace 


匿名 namespace (anonymous sd ‘unnamed namespace) 是 
C++ 语言 的 一 项 非常 有 用 的 功能 ， 其 主要 目的 是 让 该 namespace 中 的 成 员 
(变量 或 函数 ) 具有 独 一 无 二 的 全 局 名 称 ， 导 人 免 名 字 储 撞 (name 


collisions) 。 一 般 在 编写 .cpp 文 件 时 ， 如 入 需要 与 一 些小 的 helper 函 数 ， 
我 们 常常 会 放 到 匿名 namespace 里 。muduo 0.1.7 中 的 muduo/base/Date.cc 
和 muduo/base/Thread.cc 等 处 束 用 到 了 匿名 namespace。 

我 最 近 在 工作 中 迪 到 并 重新 思考 了 这 一 问题 ， 及 现 匿 名 namespace 
并 不 是 多 多 敬 侠 。 


12.5.1 Ci 语言 的 static 关 键 字 的 两 种 用 法 


C 语 言 的 static 天 键 字 有 两 种 用 途 : 

第 1 种 ”用 于 函数 内 部 修饰 变量 ， 即 孙 数 内 的 静态 变量 。 这 种 变量 
的 生存 期 长 于 该 函数 ， 使 得 函数 其 有 一定 的 “状态 "。 使 用 议 态 变量 的 函 
数 一 般 是 不 可 重 入 的 ， 也 不 是 线程 安全 的 ， 比 如 strtok(3)。 

第 2 种 ”用 在 文件 级 别 〈( 函 数 体 之 外 ) ， 修 饰 变 量 或 函数 ， 表 示 访 
变量 或 函数 只 在 本 文件 可 见 ， 其 他 文件 看 不 到 、 也 访问 不 到 设 变 量 或 函 
数 。 专 业 的 说 法 叫 “ 具 有 internal linkage”( 俐 言 之 : 不 骏 露 给 别 的 
translation unit) 。 


C 语 言 的 这 两 种 用 法 很 明确 ， 一 般 也 不 容易 混 消 。 
12.5.2 C++ 语言 的 static 关 键 字 的 四 种 用 法 


由 于 C++ 引入 了 class， 在 保持 与 C 语 言 兼 容 的 同时 ，static 关 键 字 又 
有 了 两 种 新 用 法 : 

第 3 种 ”用 于 修饰 class 的 数据 成 员 ， 即 所 谓 “ 娘 态 成 员 ”。 这 种 数据 
成 员 的 生存 期 大 于 class 的 对 象 〈 实 体 / instance) 。 衣 态 数 据 成 员 是 每 
个 class 有 一 份 ， 普 通 数据 成 员 是 每 个 instance 有 一 份 ， 因 此 也 分 别 叫做 
class variable 和 instance variable。 

第 4 种 ”用 于 修饰 class 的 成 员 函 数 ， 即 所 请“ 评 态 成 员 图 数 ”。 这 种 
成 员 函 数 只 能 访问 class variable 和 其 他 静态 程序 图 数 ， 不 能 访问 instance 
variable 或 instance method 。 

当然 ， 这 几 种 用 法 可 以 相互 组 合 ， 比 如 C++ 的 成 员 图 数 〈 无 论 static 
还 是 instance) 都 可 以 有 其 局 部 的 静态 变量 (上面 的 用 法 1) 。 对 于 class 
template 和 function template， 其 中 的 static 对 象 的 真正 个 数 跟 template 
instantiation (模板 其 现 化 ) 有 关 ， 相 信和 学 过 C++ 模板 的 人 不 会 陌生 。 

可 见 在 C++ 里 static 被 overload 了 多 次 。 匿 名 namespace 的 引入 是 为 了 
减轻 static 的 负担 ， 它 替换 了 static 的 第 2 种 用 途 。 也 就 是 说 ， 在 C++ 里 不 
必 使 用 文件 级 的 static 关 键 字 ， 我 们 可 以 用 匿名 namespace 达 到 相同 的 效 
果 。【〔 其 实 严格 地 说 ，linkage 或 许 各 有 不 同 ， 这 里 不 展开 讨论 了 。) 


12.5.3 ”匿名 namespace 的 不 利之 处 
在 工程 实践 中 ， 匿 名 namespace 有 两 大 不 利之 处 : 


1. 匿名 namespace 中 的 函数 是 “匿名 >” 的， 那么 在 确实 需要 引用 它 的 
时 候 束 比较 厅 烦 。 

比如 在 调试 的 时 候 不 便 给 其 中 的 函数 设 断 点 ， 如 果 你 像 我 一 样 使 用 
的 是 gdb 这 样 的 文本 模式 debugger; 又 比如 profiler 的 输出 结果 也 不 容易 
判别 到 讨 古 哪个 文件 中 的 calculate0) 函 数 需 要 优化 。 
人 使 用 茶 些 版 本 的 g++ 时 ， 同 一 个 文件 每 次 编译 出 来 的 二 进 制 文件 
No 

比如 说 拿 到 一 个 会 友 生 core dump 的 二 进 制 可 执行 文件 ， 无 法 确定 
它 是 由 哪个 revision 的 代码 编译 出 来 的 。 毕 葛 编 译 结 果 不 可 复 现 ， 具 有 
一 定 的 随机 性 。 当然， 在 正式 场合 ， 这 应 该 由 软件 配置 省 理 (SCM) 
流程 来 解雇 。) 

另外 这 也 可 能 让 有 茶 些 build tool 失 灵 ， 如 果 访 工具 用 到 了 编 详 出 来 的 
二 进 制 文件 的 MD5 的 话 。 


考虑 下 面 这 段 简 短 的 代码 : 
dnon,cC 
Namespace 


vold foor) 
{ 


} 
】 


Int maint() 


foof 7 ; 
} 





anon.cc 

对 于 问题 1: ”gdb 的 <tab> 键 自动 补 全 功能 能 帮 我 们 设 定 断 点 ， 不 
是 什么 大 问题 。 前 提 是 你 知道 那个 “(anonymous namespace)::foo0? 正 是 
你 想 要 的 函数 。 


$ gdb ./a.out 
GNU gdb (GDB) 7.0.1-debian 


(gdp) b <tab> 


(anNnonymous namespace) __data_start _end 
Canonymous namespace)::foo() __do_global_ctors_aux _fini 
_DYNAMIC __do_global_dtors_aux _1nit 
_GLOBAL_OFFSET_TABLE_ __dso_handle _start 
_IO_stdin_used EXX_personallty_vg@ anocon .cc 
__CIOR_END__ __Exx_personality_ve@plt call_gmon_start 
民工 和 Ta __init_array_end completed .6341 
__DIQOR_END__ __init_array_start data_start 
__DTOR_LIST__ __libc csu_fini dtor_idx.6343 
__FRAME_END__ __libc_ csu_init foo 

__JCR END __libc start_ main frame_dummy 
oR ELST. .. __libc_start_main@plt int 
__bss_start _edata main 


(gdb) b ‘(<tab> 
anonymous namespace) anonymous namespace)::foor) 


(edby b ‘(anonymous namespace): :foor)’ 
Breakpoint 1 at 0x400588: file anon.cc, line 4， 


有 麻烦 的 是 ， 如 果 两 个 文件 anon.cc 和 anonlib.cc 都 定义 了 匿名 空间 中 
的 foo0) 函 数 〈《 这 不 会 冲突 ) ， 那 么 gdb 无 法 区 分 这 两 个 函数 ， 你 只 能 给 
其 中 一 个 设 断 点 。 或 者 你 使 用 文件 名 : 行 号 的 方式 来 分 别 设 断 点 。 (从 
技术 上 说 ， 匿 名 namespace 中 的 函数 是 weak text， 链 接 的 时 候 如 果 发 生 
符号 重 名 ，1linker 不 会 报错 。 ) 

从 根本 上 解决 的 办 法 是 使 用 普通 具名 namespace， 如 果 怕 重 名 ， 可 
以 把 源 文 件 名 《〈 洗 要 时 加 上 路 径 ) 作为 namespace 名 字 的 一 部 分 。 

对 于 问题 2: 把 anon.cc 编 详 两 次 ， 分 别 生 成 aout 和 b.out; 


$ g++ --version 
g++ (GCC) 4.2.4 (Ubuntu 4.2.4-1ubuntu4) 


中 g++ -g -0 a.0Uut anon.cc 

$ g++ -g -0 b,.out anon.cc 

$ md5sum a.o0ut b.out 
of7a9ccliSaf7ableS7afl7baléafcd7@ a.0ut 
8f22fc2bbfc27beb922aefa97dl74e3b b.out 


$ diff -uu <(nm a.out) <nm b.out) 

--- /dev/fd/63 2011-02-15 22:27:58.960754999 +@800 

+++ /dev/fd/62 2611-82-15 22:27:58.960754999 +68080 
Ge -2,7 +2,7 @@ 

ooo0000886860946 gd _GLOBAL_OFFSET_TABLE_ 

B0000000004005634 R _IO_stdin_usedg 

W _Jv_RegisterClasses 
-0000000000400538 t _AZN36_GLOBAL__N_anon.cc_080000808_E2CEEB513fooEyv 


+0000000000460538 t _ZN36_GLOBAL__N_anon.cc_00000000_CBS51498D3fooEy 
60000000000600748 dd __CTOR_END__ 
00000009006800748 gd __CTOR_LIST__ 
0600000000060600758 do __DTOR_END__ 


由 上 可 见 ，g++ 4.2.4 会 随机 地 给 匿名 namespace 生 成 一 个 唯一 的 名 
字 (foo0 函 数 的 mangled name 中 的 E2CEEB51 和 CB51498D 是 随机 的 ) ， 
以 体 证 名 字 不 冲突 。 也 束 是 说 ， 同 样 的 源 文 件 ， 两 次 编译 得 到 的 二 进 制 
文件 内 容 不 相同 ， 这 有 时 候 会 造成 问题 或 困惑 。 

这 可 以 用 gcc 的 -frandom-seed 参 数 解决 ， 其 体 见 gcc 文 档 。 
PE 4.2.4 中 存在 (之 前 的 版 本 估计 类 似 ) ， 在 gcc 4.4.5 

AN 子 


12.5.4 和 蔡 代 办 法 


如 果 前 面 的 “不 利之 处 ?给 你 带 来 了 困扰 ， 解 决 办 法 也 很 简单 ， 吏 是 
使 用 普通 具名 namespace。 当 然 ， 要 起 一 个 好 的 名 字 ， 比 如 Boost 里 就 党 
币 用 boost::detail 来 放 那 些 “ 不 应 访 又 露 给 客户 ， 但 又 不 得 不 放 到 头 文 件 
里 ”有 的 函数 或 class。 

总 而 言 之 ， 匿 名 namespace 没 什么 大 问题 ， 使 用 它 也 不 是 什么 过 
铅 。 万 一 它 三 事 了 ， 可 以 用 普通 具名 namespace 符 代 之 。 


12.6 ”采用 有 利于 厂 本 管理 的 代码 格 却 


版 本 管理 〈version controlling) 是 每 个 程序 员 的 基本 技能 ，C++ 程 
序 员 也 不 例外 。 版 本 管理 的 基本 功能 之 一 是 退 踩 代码 蕉 化 ， 让 你 能 清 芭 
地 知道 代码 是 如 何 一 步 步 变 成 现在 的 这 个 样子 的 ， 以 及 每 次 check-in 都 
具体 改动 了 哪些 内 部 。 无 论 是 传统 的 集中 式 成 本 管理 工具 ， 如 
Subversion， 还 是 新 型 的 分 布 式 管理 工具 ， 如 GiVHg， 比 较 两 个 版 本 
(revision) 的 差异 都 是 其 基本 功能 ， 即 俗称 “做 一 下 diff”。 

di 任 的 输出 是 个 里 孔 〈peephole) ， 它 的 上 下 文 有 限 (diff -u 默 认 显 
示 前 后 3 行 ) 。 在 做 code review 的 时 候 ， 如 果 仅 竺 这 “一 筷 之 见 * 束 能 友 
现代 公 改 动 有 问题 ， 那 或 青 好 也 不 过 了 了 。 

C 和 和 C++ 都 是 目 由 格式 的 语言 ， 代 码 中 的 换行 从 被 当做 white space 来 
对 每 。 (当然 ， 我 们 说 的 是 预 处 理 (preprocess) 之 后 的 情况 ) 。 对 编 
译 絮 来 说 一 模 一 样 的 代码 可 以 有 多 种 写法 ， 比 如 
foo(l, 之 ， 3,. 4): 

和 
foo(]1, 

r 

3 

4); 
词法 分 析 的 结果 是 一 样 的 ， 语 意 也 完全 一 样 。 

对 人 来 说 ， 这 两 种 写法 旋 起 来 不 一 样 ， 对 于 厂 本 党 理 工具 来 说 ， 同 
样 功能 的 修改 造成 的 差异 (diff) 也 往往 不 一 样 。 所 谓 “ 有 利于 版 本 官 
理 ”， 束 是 指 在 代码 中 合理 使 用 换行 全， 对 diff 工 具 友 好 ， 让 diff 的 结果 
清晰 明了 地 表达 代码 的 改动 。diff 一 般 以 行为 单位 ， 也 可 以 以 单词 为 单 
位 ， 本 文 只 考 碟 最 第 见 的 逐 行 比较 (diff by lines) 。 


12.6.1 对 diff 友 好 的 代码 格式 
多 行 注释 也 用 /W/， 不 用 /* *// 

Scott Meyers 写 的 《Effective C++ (第 2 版 )》 第 4 条 建议 使 用 C++ 信 \ 
格 ， 我 这 里 为 他 补充 一 条 理由 : 对 dif 友 好 。 比 如 ， 我 要 注释 一 大 有 段 代 


侣 (其 实 这 不 是 个 好 的 做 法 ， 但 是 在 实践 中 有 时 会 过 到 ) ， 如 果 用 /* 
*/， 那 么 得 到 的 diff 是 : 


--- a/examples/asio/tutorial/timers/timer .cc 

+++ b/examples/asio/tutorial/timerSs/timer.cc 

Ge -18,6 +18,7 @@ class Printer : boost::noncopyable 
} 


+ 
~Printerr 
{ 
ae -38,6 +39,7 @@ class Printer : boost::noncopyable 
} 
} 
机 


vold print2() 


从 这 样 的 diff output 能 看 出 注释 了 哪些 代码 吗 ? 
如 果 用 //， 结 果 会 清晰 很 多 : 


-=-=- a/examples/asio/tutorial/timer5/timer.cc 

+++ b/examples/asio/tutorial/timers/timer.cc 

ae -18,26 +18,26 @@ class Printer : boost::noncopyable 
loop2_->runAfter(1, boost: :bind(&Printer: :print2, this)): 


} 

- ~Printer() 

me 

一 std::cout << "Final count is ”<< Count_ << “An ， 
} 


+ /~Printer() 

相交 

+ YA std::cout << "Final count is ”<< Count _ << "\n": 
A 


- wold print1() 

-> 

muduo: :MutexLockGuard lock(mutex_): 

此 if (count_ < 108) 

- { 

了 std:' cout << “Timer 1: “<< count_ << An : 
- ++COUNt_; 


loopl_->runAftert1, boost::bind(&Printer::print1, this)); 
-ee 
else 


.0 
loopl_->quit(): 


} 
/ft vold print1i() 


/i muduo: :MutexLockGuard lock(mutex_)}; 

:it 1f (count_ < 108) 

xR 区 

1 1 std::cout << "Timer 1: ”<< COuUnt_ << An ; 
i ++cCOUNt_: 


/i loopl1_->runAfter(1, boost::bind(&Printer: :print1, this)); 
:i 1 

/:/ else 

:i 1{ 

/7 loopl1_->quyuit():; 

// } 


二 十 十 十 十 十 十 十 十 十 十 十 十 十 十 
es 
Sa 


void print2() 
f 


同样 的 道理 ， 取 消 注 释 的 时 候 // 也 比 /* */ 更 清晰 。 

另外 ， 如 条 用 入 */ 来 做 多 行 注 释 ， 从 diff 不 一 定 能 看 出 来 你 是 在 修 
改 代码 还 是 修改 注释 。 比 如 以 下 diff 似 乎 修改 了 
muduo::EventLoop::runAfter() 的 调用 参数 : 


--— a/examples/asio/tutorial/timers/timer.cc 

+++ b/examples/asio/tutorial/timers/timer.cc 

ae -32,7 +32 @@ class Printer : boost::noncopyable 
std::cout << "Timer 1: ”<< count_ << std: :endl. 
++cOUNt_; 


loopl_->runAfter(W, boost::bind(&Printer: :print1, this)):; 
+ loopl1_->runAfter(2, boost::bind(&Printer: :print1, this)); 
} 


lse 

i 

其 实 这 个 修改 发 生 在 注释 中 《〈 要 增加 上 下 文才 能 看 到 ，diff -U 20， 
多 一 道 手 续 ， 降 低 了 工作 效率 ) ， 对 代码 行为 没有 影 啊 : 


--- a/examples/asio/tutorial/timerS/timer.cc 
+++ b/examples/asio/tutorial/timers/timer.cce 


ae -20,31 +28,31 @@ class Printer : boost::noncopyable 


/A 
~Printer() 
{ 
std: :cout << "Final count is ”<< count_ << std: :endl; 
J 
void print1() 
{ 
mudue: :MutexLockGuard lock(mutex_): 
if (count_ < 18) 
{ 
std: :cout << "Timer 1: ”<< count_ << std: :end]: 
++COUNt_: 
~ loopl_-—>runAfter(1, boost::bind(&Printer: :print1, this)):; 
+ loopl_->runAfter(2, boost::bind(&Printer::print1i, this)); 
} 
else 
i 
loopl1_->gquit(y: 
上 
大 1 
vDid print2() 
muduo: :MutexLockGuard lock(mutex_): 
if (count_ < 10) 
{ 
std::cout << "Timer 2: ”<< count_ << std: :endl. 


++COUNt_: 


总 之 ， 不 要 用 /* */ 来 注释 多 行 代码 。 


或 许 是 时 过 境 迁 了 ， 大 家 都 在 用 // 注 释 了 ， 《Effective C++〔 第 3 


版 》 去 挥 了 这 一 条 建议 。 
局 部 变量 与 成 员 变 量 的 定义 


基本 原则 是 ， 一 行 代码 只 定义 一 个 变量 ， 比 如 
double X; 
double y:; 
将 来 代码 增加 一 个 double z 的 时 候 ，diff 输 出 一 眼 束 能 看 出 改 了 什 
从: 
ae -63,.6 +63,7 Ge prlvate: 
int count_: 
double x: 
double Y; 
+ double >z; 
}; 
Int main() 
如 果 把 x 和 y 写 在 一 行 ，diff 的 输出 就 得 多 看 几 了 眼 才 知道 : 
aa -61,7 +61 ,7 @@ private: 


muduo: :net::EventLoopx loop]l._.; 
muduo: :net::EventLoop* loop2_: 


int count_: 
- double X，Y: 
+ double x, y, Zz:; 
}; 
1nt maint() 


所 以 ,一行 只 定义 一 个 变量 更 利于 版 本 官 理 。 同 样 的 道理 适用 于 
enum 成 员 的 定义 、 数 组 的 初始 化 列表 等 。 


畏 数 声明 中 的 参数 


如 采 函 数 的 参数 大 于 3 个 ， 那 么 在 和 逐 号 后 面 换行 ， 这 样 每 个 参数 占 
一 行 ， 便 于 dif。 以 muduo::net::TcpClient 为 例 : 


muduojnet/Tcptlient.h 
class TcpcClient : boost::noncopyable 
{ 
public: 
TcpClient(EvyventLoop* loop, 
const InetAddress& serverAddr, 
const string& name): 
muduo/net/Tcptlient.h 


如 朵 将 来 TcpClient 的 构造 孙 数 增加 或 修改 一 个 参数 ， 那 么 很 容易 从 


diff 看 出 来 。 这 您 怕 比 在 一 行 长 代码 里 数 返 号 要 珊 效 一 些 。 
函数 调用 时 的 参数 


在 函数 调用 的 时 候 ， 如 果 参 数 大 于 3 个 ， 那 么 把 实 参 分 行 与 。 
以 muduo::net::EPoll]Poller 为 例 : 


一 muduo/net/poller/EPollPoller.cc 
Timestamp EPollPoller::poll(int timeoutMs, ChannelList* activeChannels) 
{ 
int numEvents = ::epoll wait(epollfd_, 
&revents_ .begin(), 
static_cast<int>(events_.size()), 
timeoutMs).， 
Timestamp now(Timestamp: :Now()): 
muduo/net/poller/EPollPoller.cc 


这 样 一 来 ， 如 果 将 来 重 构 引 入 了 一 个 新 参数 〈 当 然 ，epoll_wait 不 会 有 
这 个 问题 ) ， 那么 图 数 定 义 和 图 数 调 用 的 地 方 的 df 用 【有 相同 的 形式 
(比方 说 都 是 在 倒数 第 二 行 加 了 一 行内 容 ) ， 很 容易 肉眼 验证 有 没有 和 钳 
体 。 如 果 参 数 写 在 一 行 里 边 ， 束 得 睁 大 眼睛 数 所 号 了 。 


class 彻 始 化 列表 的 写法 


同样 的 道理 ，dlass 人 初始 化 列表 (initializer list) 也 遵循 一 行 一 个 的 
原则 ， re ee 那么 两 处 (class 定 义 和 ctor 定 
义 ) 的 diff 具 有 相同 的 形式 ， 让 错误 无 所 授 形 。 以 muduo::net::Buffer 为 
例 : 


muduo/mnet/Buffer.h 
class Buffer : public muduo: :copyable 
public: 
static const size_t kcCheapPrepend = 8; 
static const size_t kInitialsSize = 1824: 


Bufferry 


: buffer_(KcheapPrepend + kInitialSsize), 
readerIndex_(kCcheapPrepend), 
writerIndex_(kCheapPrepend) 


{ } 
/1 省 上 略 
private: 
std: :vector<char> buffer_: 
slze_t readerIndex_; 
size_t writerIndex_; 
}; 


muduo/net/Buffer.h 


注意 ， 初 始 化 列表 的 顺序 必须 和 数据 成 员 声 明 的 顺序 相同 。 
与 namespace 有 天 的 缩 进 


Google 的 C++ 编程 规范 明确 指出 ，namespace 不 增加 缩 进 &。 这 么 做 
非常 有 违 理 ， 方 便 diff -p 把 函数 名 显示 在 每 个 diff chunk 的 头 上 。 

如 果 对 消 数 实现 做 diff，chunk name 是 函数 名 ， 让 人 一 眼 就 能 看 出 
改 的 是 哪个 函数 ， 如 下 面 所 示 的 灰 展 部 分 。 


diff --git a/muduo/net/SocketsQps.cc b/muduo/net/SocketsQps.cc 
--- a/muduo/net/SocketsOps.cc 


+++ b/muduo/net/SocketsOps.cc 
ae@ -125,7 +125,7 ae int sockets::accept(int sockfd, struct sockaddr_in* addr) 
case ENOTSOCK: 

case EOPNOTSUPP: 
/i Unexpected errors 
LOG_FATAL << "unexpected error of ::':accept"; 
LOG_FATAL << “unexpected error of ::accept 
break ; 

default: 


LOG_FATAL << “Unknown error of ::accept ”<< SavedErrno; 


如 果 对 class 做 diff， 那 么 chunk name 就 是 class name。 


< SavedErrno， 


diff --git a/muduo/net/Buffer.h b/muduo/net/Buffer.h 

--— a/muduo/net/Buffer.h 

+++ b/muduo/net/Buffer.h 

ae -60,13 +60, 13 @@ class Buffer :+ public muduo: :copyable 
std::swap(writerIndex_, rhs.writerIndex_): 


} 


- slze_t readableBytes(): 
+ size_t readableBytes() const.: 


- silze_t writableBytes(); 
+ size_t writableBytes(}) const: 


size_t prependableBytes(): 
slze_t prependableBytes() const; 


const char* peek() const; 


diff 原 本 是 为 C 语 言 设计 的 ，C 语 言 没有 namespace 件 进 一 说 ， 所 以 它 
默认 会 找到 “ 顶 格 写 ”的 函数 作为 一 个 diff chunk 的 名 字 。 如 果 函 数 名 前 面 
有 空格 ， 它 就 不 认得 了 。muduo 的 代码 都 遵循 这 一 规则 ， 例 如 : 


muduo/base/Timestamp.h 
namespace muduo 


{ 
// class 从 第 一 列 开始 写 ， 不 缩 讲 


class Timestamp : public muduo::copyable 


{ 
A 


}; 
muduo/base/Timestamp.h 


muduo/base/Timestamp.cc 

// 函数 的 实现 也 从 第 一 列 开始 写 ， 不 缩 进 。 
Timestamp Timestamp: :now() 
{ 

struct timeval tv: 

gettimeof day(&tvy, NULL); 

int64_t seconds = tv.tv_sec; 

return Timestamp(seconds x* kMicroSsecondsPerSsecond + tv.ty_usec): 


muduo/base/Timestamp.cc 


相反 ，Boost 中 的 某 些 库 的 代码 是 按 namespace 来 缩 进 的 ， 这 样 的 话 
看 di 任 往 往 不 知道 改动 的 是 哪个 class 的 哪个 成 员 函 数 。 


这 个 或 许可 以 通过 放置 diff 取 函数 名 的 正则 表达 陈 来 解决 ， 但 是 如 
果 我 们 写 代 人 码 的 时 候 就 注音 把 函数 “] 栅 格 写 ”"， 那 么 束 不 用 去 动 dif 的 默 
认 设 置 了 。 画 外 ， 正 则 表达 陈 不 能 完全 匹配 函数 名 ， 因 为 函数 名 属于 上 
下 文 无 关 语 法 (context-free syntax) ， 你 没 办 法 写 一 个 正则 语法 去 匹配 
上 下 文 无 天 语法 。 我 总 能 写 出 菜 种 水 数 再 明 ， 让 你 的 正则 表达 式 失效 
( 想 想 图 数 的 返回 疾 型 ， 它 可 能 是 一 个 非常 复杂 的 东西 ， 更 别 说 参数 
了 ) 。 更 何况 C++ 的 语法 是 上 下 文 相 关 的 ， 比 如 ， 你 狂 Foo<Bar> qux; 是 
个 表达 式 还 是 变量 定义 ? 


public 与 private 


我 认为 这 是 C++ 语法 的 一 个 缺陷， 如 采 我 把 一 个 成 员 函 数 从 public 
区 移 人 到 private 区 ， 那 么 从 dif 上 看 不 出 来 我 干 了 什么 ， 例 如 : 


@@ -37,7 +37,6 @@ class TcpClient : boost::noncopyable 
voOld connectr(): 
void disconnect( ) ， 


- bool retry() const， 
void enableRetry() { retry_ = true; } 


:it Set connection callback. 
aa -60,6 +59,7 ae class TcpClient : boost::noncopyable 


vold newConnection(int sockfd): 

/Ait Not thread safe, but in loop 

vold removeConnection(const TcpConnectionPtr& conn):; 
+ bool retry() const: 


EventLoop* loop_: 
boost::scoped ptr<Connector> connector_: // avold revealine Connector 


从 上 面 的 di 寿 能 看 出 我 把 retryO 变 成 private 了 吗 ? 对 此 我 也 没有 好 的 
解雇 办 法 ， 总 不 能 在 每 个 函数 前 面 都 号 上 public: 或 private: 吧 ? 

对 此 Java 和 C# 帮 做 得 比较 好 ， 它 们 把 public/private 等 修饰 符 放 到 每 
个 成 员 函 数 的 定义 中 。 这 么 做 增加 了 信息 的 见 余 上 度 ， 让 diff 的 结果 更 直 
观 。 


避免 使 用 厂 本 控制 软件 的 keyword substitution 功 能 


这 人 么 做 是 为 了 避免 diff 噪 声 。 
比方 说 ， 如 果 我 想 比 较 0.1.1 和 0.1.2 两 个 代码 分 支 有 哪些 改动 ， 我 通 


第 会 在 branches 目 录 执 行 diff 0.1.1 0.1.2 -ru。 两 个 branch 中 的 
muduo/net/EventLoop.h 其 实 是 一 样 的 (先后 从 同一 个 revision 分 支出 

来 ) 。 但 是 如 果 这 个 文件 使 用 了 SVN 的 keyword substitution 功 能 (比如 
$1d$ ) ，diff 会 报告 这 两 个 branches 中 的 文件 不 一 样 ， 如 下 所 示 。 


diff -rup 8.1.,.1/muduo/net/EventLoop.h 8.1.2/muduo/net/EventLoop.h 
--- 8.1.1/muduo/net/EventLoop.h 2011-65-02 23:11:02.0000008000 +0880 
+++ @.1.2/muduo/net/EventLoop.h 2011-65-02 23:12:22.000000000 +08809 
ae -8,7 +8,7 Ge 
A 
1/ This is a public header file, it must only include public header files. 


-// $Id: EventLoop.h 4 2011-65-01 10:11:022 schen $$ 
+ $Id: EventLoop.h 5 2811-85-82 15:12:222 schen $ 


#ifndef MUDUO_NET_EVENTLOOP_H 
#define MUDUO_NET_EVENTLOOP_H 


这 样 纯 粹 增加 了 噪声 ， 这 是 RCS/CVS 时 代 的 过 时 做 法 。 文 件 的 Id 不 
应 该 在 文件 内 容 中 出 现 ， 这 些 metadata 跟 源 文件 的 内 容 无 关 ， 应 该 由 版 
本 管理 软件 额外 提供 。 


12.6.2 ”对 grep 友 好 的 代码 风格 
操作 举重 载 


C++ 工 上 其 医 乏 ， 在 一 个 项 目 里 ， 要 找到 一 个 函数 的 定义 或 许 不 算 太 
难 〈( 最 多 灰 是 分 析 一 下 重 载 和 模板 特 化 ，， 但 是 要 找到 一 个 函数 的 使 用 
束 难 多 了 。 不 比 Java， 在 Eclipse 里 按 Ctrlt+Shiftt+G 组 合 键 就 能 找到 所 有 的 
引用 岂 。 

假如 我 要 做 一 个 重 构 ， 想 先 找 到 代码 里 所 有 用 到 
muduo::timeDifference() 的 地 方 ， 判 靳 一 下 工作 古人 耕 可 行 ， 基 本 上 唯一 的 
办 法 是 grep。 用 grep 还 不 能 排除 同名 的 郴 数 和 注释 里 的 内 容 。 这 也 说 明 
了 为 什么 要 用 // 来 引导 注释 ， 因 为 在 grep 的 时 候 ， 一 眼 束 能 看 出 这 行 代 
但 是 在 注释 里 的 。 

在 我 看 来 ，operator overloading 恬 仅 限 于 和 STL algorithm/container 
配合 时 使 用 ， 比 如 std::transform() 和 map<Key,Value>， 其 他 情况 都 用 具 
名 函数 为 是 。 原 因 之 一 是 ， 我 根本 用 grep 找 不 到 在 哪儿 用 到 了 减亏 
operator-()。 这 也 是 muduo::Timestamp class 只 提供 operator<0O 而 不 提供 
operator+() operator-0O 的 原因 。 我 提供 了 两 个 函数 timeDifferenceO0 和 


addTime(0) 来 实现 所 需 的 功能 。 
叉 比 如 ，GoogleProtocolBuffers 的 回调 是 Closure class， 它 的 接口 用 
的 是 virtual function Run0O 而 不 是 virtual operator(O0O。 


static_cast 与 C-style cast 


为 什么 C++ 要 引入 static_cast 之 类 的 转型 操作 符 ， 原 因 之 一 就 是 像 
(int*) pBuffer 这 样 的 表达 式 基 本 上 没 办 法 用 grep 判 断 出 它 是 个 强制 闫 型 
转换 ， 与 不 出 一 个 刚好 只 匹配 类 型 转换 的 正则 表达 式 。 (其 语法 是 上 下 
文 无 大 的 ， 无 法 用 正则 搞定 。) 

如 果 类 型 转换 都 用 *_cast， 那 只 要 grep 一 下 ， 我 就 能 知道 代码 里 哪 
儿 用 了 reinterpret_cast 转 换 ， 便 于 迅速 地 检查 有 没有 用 错 。 为 了 强调 这 
一 点 ，muduo 开 启 了 编译 选项 -Wold-style-cast 来 帮助 查找 C-style 
casting， 这 样 在 编译 时 就 能 帮 我 们 找到 问题 。 


12.6.3 一 切 为 了 效率 


如 果 用 图 形 化 的 文件 比较 工具 ， 似 和平 能 避免 上 面 列举 的 问题 。 但 无 
论 是 Web 还 是 客户 端 ， 无 论 是 diff by words 还 是 diff by lines 都 不 能 解决 全 
部 问题 ， 效 率 也 不 一 定 更 高 。 

对 于 此 处 举 的 例子 ， 如 果 想 知道 是 谁 在 什么 时 候 增加 的 double z， 
在 分 行 写 的 情况 下 ， 用 git blame 或 svn blame 立 刻 就 能 找到 始作俑者 。 如 
果 写 成 一 行 ， 那 束 得 把 文件 的 revisions 拿 来 一 个 个 人 工 比较 ， 因 为 这 一 
行 double x 二 0.0, y 二 1.0, z 二 -1.0; 可 能 修改 过 多 次 ， 你 得 一 个 个 看 才 知 道 
什么 时 候 加 入 了 变量 z-。 为 外 几 种 情况 也 使 得 blame 的 输出 更 易 读 。 

比如 此 处 改动 了 一 行 代 码 ， 你 还 是 要 癌 上 翻 去 找 改 的 是 哪个 函 
数 。 人 眼看 的 话 还 有 “看 走 眼 ”的 可 能 ， 又 得 再 定 睛 观 瞧 。 这 一 切 都 是 在 
浪费 人 的 时 间 ， 使 用 更 好 的 图 形 化 工具 并 不 能 减少 浪费 ;相反 ， 我 认为 
增加 了 浪费 。 

男 外 一 个 常见 的 工作 场景 ， 早 上 来 到 办 公 室 ，update 一 下 代码 ， 然 
后 扫 一 眼 diff output 看 看 别人 昨天 动 了 哪些 文件 ， 改 了 哪些 代码 。 这 束 
是 一 两 条 命令 的 事 ， 几 秒 束 能 结束 战斗 。 如 果 用 图 形 化 的 工具 ， 得 一 个 
个 点 击 文件 diff 的 链接 或 打开 新 tab 来 看 文件 的 side-by-side 比 较 〈 不 这 人 么 
做 的 话 就 看 不 到 足够 多 的 上 下 文 ， 跟 看 diff output 无 异 ) ， 然 后 上 下 翻 
动 页 面 去 看 别人 到 搬 改 了 什么 。 说 实话 ， 我 向 得 这 人 么 做 效率 并 人 不比 dift 
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12.7 ”再 探 std::string 


Scott Meyers 在 《Effective STL》[ESTL] 第 15 条 提 人 到 std::string 有 多 种 
实现 方式 ， 归 纳 起 来 有 三 类 ， 而 每 类 又 有 多 种 变化 。 


1 . 无 特殊 处 理 (eager copy) ， 及 用 类 似 std::vector 的 数据 结构 。 现 
在 很 少 有 实现 采用 这 种 方式 。 
2. Copy-on-Write (COW) 。g&++ 的 std::string 一 百 采 用 这 种 方式 实 


3. 短 字 符 串 优化 《SSO) ， 利 用 string 对 象 本 身 的 空间 来 存储 短 字 
符 串 。Visual C++ 用 的 是 这 种 实现 方式 。 


表 12-1 总 结 了 我 知道 的 各 个 库 的 string 实 现 方式 和 string 对 象 分 别 在 
32 一 bit/64 一 bit x86 系 统 中 的 大 小 。 


现 2 


表 12-1 
库 32-bit ”64-bit ”实现 方式 
g++ std::string, 二 8 COW 
__ gnNu cxx:: sso_string 24 32 S50 
_ gnu cxx::_Irc strng 十 8 COW 
claneg libct++ 2 24 S550 
Sl SIL 12 24 eager copy 
slLPort 24 48 S50 
Apache libstdcxx + 8 COW 
Visual C++ 2010 28/32 40/48 SSO 


Visual C++ 的 string 的 大 小 跟 编 译 模 式 有 关 ， 表 12-1 中 小 的 那个 数字 
是 release 编 详 ， 大 的 是 debug 编 详 。 因 此 debug 库 和 release 库 不 能 混用 。 
除 此 之 外 ， 其 他 库 的 string 大 小 是 固定 的 。 

以 下 分 别 介 绍 这 几 种 实现 方式 的 代码 骨架 和 数据 结构 示意 图 ， 无 论 
哪 种 实现 方式 都 要 保存 三 个 数据 : 1. 字符 串 本 身 (char[]) ，2. 字符 
串 的 长 度 〈size) ，3. 字符 串 的 容量 capacity) 。 


12.7.1 和 直接 找 风 (eager copy) 


类 似 std::vector 的 “三 指针 ”结构 。 代 码 上 骨架 (省 略 模 极 〉 如 下 ， 数 据 
结构 示意 图 如 图 12-1 所 示 。 





一 eager copy string 1 
/i http://www.sgi.com/tech/stl/string 


/:/: Class 1Invarlants: 

A:* (1) [start, finishy is a valid range. 

/* (2) Each iterator in [Lstart, finishy points to a valid object 
/7 of type value_type. 

:i (3) *finish is a valid object of type value_type; in particular, 
A it is value_type(). 

:i (4) [finish + 1, end_of_storage) 1S a valid range. 


A:/ (5) Each iterator in [finish + 1, end_of_storage) points to 
-i uninitialized memory. 


/i Note one important consequence: a string of length n must manage 
i: a block of memory whose size is at least n+ 1. 


class string 
{ 
public: 
const_pointer data() const 
iterator begin() 
iterator endO) 
size_type size() const 
size_type capacity() const 


return start; 上 

return start; } 

return finish: } 

return finish - start: } 

return end_of_storage - start; } 


private: 
char* start; 
charx finish: 
char* end_of_storage:; 
上 
eager copy string 1 


capaclty 





CONTENT 


string 2 
start 





图 12-1 
对 象 的 大 小 是 3 个 指针 ， 在 32-bit 中 是 12 字 节 ， 在 64-bit 中 是 24 字 


Eager copy string 有 的 男 一 种 实现 方式 是 把 后 两 个 成 员 变 量 蔡 换 成 整 
数 ， 人 的 长 上 度 和 容量 ， 代 码 骨 和 架 如 下 ， 数 据 结构 示意 图 如 图 
12-2 有 所 不 。 


ye 


eager Copy string 2 
class strineg 


public: 
const_pointer data(}) const 
lterator begin() 
iterator end() 
size_type size() const 
size_type capacity() const 


return start; } 

return start; } 

return start + silze_; } 
return size_; } 

return capacity_: } 


A 


private: 
char* start: 
size t size_ ; 
size_t capacity_:; 
上 
eager COpy string 2 


capaclty 


S17e 







string 


图 12-2 


这 种 做 法 并 没有 多 大 的 改变 ， 因 为 size_t 和 char* 是 一 样 大 的 。 但 
是 ， 我 们 通常 用 不 到 单个 几 百 兆 字 节 的 字符 串 *， 那 么 可 以 再 改变 一 下 
长 度 和 容量 的 类 型 (从 64-bit 整 数 改 成 32-bit 整 数 ) ， 这 样 在 64-bit 下 可 以 
减 小 对 象 的 大 小 ， 如 图 12-3 所 示 。 


eager Copy string 3 
class string 
{ 
i 
private: 
char* start; 
Uint32_t size; 
Uint32_t capacity: 
上 


eager COpy string 3 


capaclty 








string 
start (64-hbit) 





Sl1Ze capacity 


图 12-3 


新 的 String 结构 在 64-bit 中 是 16 字 节 ， 比 原来 的 24 字 节 小 了 一 些 。 
12.7.2 ”与 时 复制 〈copy-on-write ) 


string 对 象 里 只 放 一 个 指针 ， 如 图 12-4 所 示 。 值 得 一 提 的 是 COW 对 
多 线程 不 友好 ，Andrei Alexandrescu 提 倡 在 多 核 时 代 应 该 改 用 eager copy 
strng。 ™™™ 


copy-on-write string 
class cow_string // Libpstdc++-V3 


struct Rep 
{ 


Slze_t size: 

slze_t capaclty: 

size_t refcount: 

char* data[1]; // variable length 


char* start: 
}; 
COpy-On-Write string 
capaclty 


ys 
S1Ze 


Me 
string \ 
| start | 一 一 一 一 一 一 ee 


图 12-4 
这 种 数据 结构 没 哈 好 说 的 ， 在 64-bit 中 似乎 也 没有 优化 空间 。 男 外 
COW 的 操作 复杂 度 不 一 定 侍 合 直 党 ， 它 拷贝 字符 串 是 O(1) 时 间 ， 但 是 
氨 风 之 后 的 第 一 次 operator[] 有 可 能 是 O(N) 时 | 间 。* 





12.7.3” 短 字符 串 优 化 (SSO) 


string 对 象 比 前 面 两 个 都 大 ， 因 为 有 本 地 缓冲 区 (local buffer) 。 


short-string-optimized string 
class sso_string // __gny_ext::__sso_string 
{ 

char* start: 

silze_t silze; 

static const int kLocalSize = 15: 

unlon 


char buffer[kLocalSize+1]: 
slze_t capacity: 
} data.; 


short-string-optimized string 


内 存 布局 如 图 12-5〈 左 图 ) 所 示 。 如 果 字 符 串 比较 短 〈 通 党 的 国信 
是 15 字 节 ) ， 那 么 直接 存放 在 对 象 的 buffer 里 ， 如 图 12-5《〈 右 疼 ) 所 
示 。 start 指 [data.buffer。 


string (short) 


16 bytes 








图 12-5 


如 果 字 从 串 超过 15 字 节 ， 那 么 束 变 成 类 似 图 12-2 的 eager copy 2 结 
构 ，start 指 癌 堆 上 分 配 的 空间 《〈 见 图 12-6) 。 


capacity 


unused 





图 12-6 

短 字 符 串 优化 的 实现 方式 不 止 一 种 ， 主 要 区 别 是 把 那 三 个 指针 / 整 
数 中 的 哪 一 个 与 本 地 缓冲 重合 。 例 如 《Effective STL》[ESTL] 第 15 条 展 
现 的 “实现 D?* 是 将 buffer 与 start 指 针 重 合 ， 这 正 是 Visual C++ 的 做 法 。 而 
STLPort 的 string 古 将 buffer 与 end_of _ storage 指针 重合 。 

SSO string 在 64-bit 中 有 一 个 小 小 的 优化 空间 : 如 果 人 多 许字 符 串 
max_size() 个 大 于 4GiB 的 话 ， 我 们 可 以 用 32-bit 整 数 来 表示 长 上 度 和 容量 ， 
这 样 同 样 是 32 字 节 的 string 对 象 ，local buffer 可 以 增 大 至 19 字 节 。 


short-string-optimized string 2 
class sso_string // optimized for 64-bit 


Charx start: 
Uint32_t size: 


static const int kLocalSize = slzeof (void*) == 8 ? 19 : 15; 
unlon 
char buffer[kLocalSize+]1]; 
Uint32_t capacity: 
} data; 
下 
short-string-optimized string 2 


内 存 布 局 如 图 12-7 所 示 。 


start (64-blt 


|0 bytes 





_ local buffer up to 19 bytes 
图 12-7 
llvm/clang/libc++ 玉 用 了 与 众人 不 同 的 SSO 实 现 ， 罕 间 利 用 紊 最高。 其 
local buffer 几 乎 与 三 个 指针 / 整数 完全 重合 ， 在 64-bit 上 对 象 大 小 是 24 字 
万 ， 本 地 缓冲 区 可 达 22 衬 节 。 数 据 结构 如 图 12-8 所 示 。 


Capacity 





(long) (short) 
图 12-8 


它 用 一 个 bit 来 区 分 是 长 字符 还 是 短 字 符 ， 然 后 用 位 操作 和 掩 码 
(mask) 来 取 重 羞 部 分 的 数据 ， 因 此 实现 是 SSO 里 最 复杂 的 x*， 如 图 12- 
9 所 示 。 


匠 31/63 





{short) 


Ta | 


(long) 
图 12-9 


Andrei Alexandrescu 建 议 Aeoo 针对 不 同 的 应 用 负载 选用 不 同 的 





string， 对 于 短 字 符 串 ， 用 SSO string; 对 于 中 等 长 度 的 字符 串 ， 用 eager 
copy; 对 于 长 字符 串 ， 用 COW。 具 体 分 界 点 需要 徘 profiling 来 确定 ， 选 
合适 的 字符 串 可 能 提高 10% 的 整体 性 能 。 

从 实现 的 复杂 上 度 上 看 ，eager copy 古 最 简单 的 ，SSO 稍 微 复杂 一 些 ， 
COW 最 难 。 性 能 也 各 有 干 秋 ， 见 Petr Ovtchenkov 写 的 《Comparison of 
Strings Implementations in C++ language》2#。 我 准备 上 日 己 写 一 个 non- 
standard2non-template2 的 string 库 (位 于 recipes/string〉 作为 练 手 ， 计 划 
采用 eager copy 3 和 sso 2 的 数据 结构 。 

注 : C++03/98 标 准 没 有 规定 string 中 的 字符 是 连续 存储 的 ， 但 是 

《Generic ProgrammingandtheSTL》 的 作者 MatthewAustern 指 出 : 现在 所 
有 有 的 std::string 实 现 都 是 连续 存储 的 ， 因 此 建议 在 新 标准 中 明确 规定 下 来 


12.8 ”用 STL algorithm 轻 松 解 雇 几 道 算 法 面试 题 


C++ STL 的 algorithm 配 合 目 定 义 的 functor( 仿 疯 数 、 函 数 对 象 ) 可 
以 轻松 解决 不 少 面 试题 ， 代 人 码 价 洁 ， 正 确 性 也 容易 验证 。 本 市 仍旧 灯 用 
C++03 的 functor 写 法 ， 没 有 采用 C++11 的 Lambda 表 达 式 写法 ， 尽 管 后 者 
会 简洁 得 多 。 完 整 代码 及 测试 用 例 见 recipes/algorithm 。 


12.8.1 用 next_permutation(0 生 成 排列 与 组 合 


本 小 节 的 内 容 源 自 10 年 前 我 与 的 一 篇 博客 s， 这 遍 博 客 还 找到 了 
Visual C++ 7.0 的 STL 的 一 个 疑似 bug (或 者 叫 feature〉。 生 成 排列 、 组 
合 、 整 数 划 分 的 具体 算法 见 Donald Knuth 的 《The Art of Computer 
Programming, Volume 4A》¥ 第 7.2.1 节 。 本 处 只 给 出 使 用 STL 的 实现 代 
0 


生成 N 个 个 同 元 系 的 全 排列 


这 古 next_permutation0) 的 基本 用 法 ， 把 元 和 双 从 小 到 大 放 好 【〔( 即 字典 
序 最 小 的 排列 ) ， 然 后 反复 调用 next_permutation0 束 行 了 了 。 


recipes/algorithm/permutation.cc 


6 int main() 
7 +4 
8 int elements[] = { 1, 2, 3, 4 }: 
9 const size_t N = sizeof(elements)/sizeof (elements[8]):; 
10 std: :vector<int> vec(elements. elements + N}: 
11 
12 int count = O:; 
13 do 
14 { 
15 std::cout << ++count << "; ",， 
16 std::copy(vec.begin(), vec.end(), 
17 std::ostream_iterator<int>(std: :cout, ， ")):; 
18 std::cout << std: :endl: 
19 } while (next_permutation(vec.begin(), vec.end())): 
20 
recipes/algorithm/permutation.cc 
>“ 辐 、 ~ 小 旦 -人 、 _y/. 和 一 
整个 程序 最 关键 的 束 是 L19。 输 出 的 前 几 行 如 下 : 
Bs le By Be 4 
0 和 
-A 
4: 1， 3， 44,， 这 2, 
6: ]，4，2 3， 
和 十 ， 末 ， 尝 5 冯 
下 
Bs 
de By i 
// 一 共 24 1 


类 似 的 代码 还 能 生成 多 重 排列 ， 比 如 2 个 a、3 个 b 的 全 部 排列 ， 代 码 
见 permutation2.cc c。 输 出 如 下 : 


1: a a 引 bbs b， 
2 a: Db, a bb, b., 
3: a, b, b, a, b, 
4: a, b, b, b, a, 
5: bb a, a, b, b, 
6: $B, a $B, a, $, 
7: b, a, Db, bb, a, 
8: b, b, a, a, b, 
9: DbD, b, a, Bb, a, 
18: b, b, b, a, a, 
已 | 
注 : 一 一 = 


思考 : 能 不 能 把 do {} while 0 循环 换 成 while 0 循环? 
生成 从 NN 个 元 系 中 取出 M 个 的 所 有 组 合 


p4 


题目 :输出 从 7 个 不 同 元 系 中 取出 3 个 元 系 的 所 有 组 合 。 丰 路 : 
对 序列 {1, 1 1 0, 0, 0, 0} 做 全 排列 。 对 于 每 个 排列 ， 输 出 数字 1 对 应 的 位 


置 上 的 元 系 。 代 码 如 下 : 


recipes/algorithm/combination.cc 


7 int main() 

8 +{ 

9 int values[] = { 1, 2, 3, 4, 5, 6, 7 }: 
10 int elements[] ={ 1, 1, 1, 0, 8, 9, 8@ }: 


11 const size_t N = sizeof (elements)/sizeof (elements[@]).; 
12 assert(N == sizeof (values)/sizeof (values[@])): 

13 std: :vector<int> selectors(elements, elements + N): 

14 

15 int count = 用; 

16 do 

17 

18 std::cout << ++count << ": ”; 

19 for (size t i = 0; i < selectors.size():; ++i) 

20 

21 If (selectors[i]) 

22 { 

23 std::cout << values[i] << ", "; 

24 } 

25 

26 std::cout << std::endl]l; 

27 } while (prev_permutation(selectors.begin(}), selectors.end())): 
28 } 


recipes/algorithm/combination.cc 


主意 ， 为 了 照顾 输出 顺序 ，L27 用 的 是 prev_permutation()。 程 序 输 


5 


= 


1 


EA a A 
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DT py FR hy 

ti 


ti Bs i + 


12.8.2 ”用 unique() 去 除 连 续 重 复 空 


吉大 在 谈 《C++ 程 序 设 计 原 理 与 实践 》z 时 曾 说 :“ 比 如 对 我 来 说 ， 
C++ 这 个 语言 最 强 的 地 方 在 于 它 的 模板 拉 术 提供 了 足够 复杂 的 程序 库 开 
及 机 制 ， 可 以 把 复杂 性 高 度 集中 在 程序 库 里 。 做 得 好 的 话 ， 在 应 用 代 伍 
部 分 我 连 一 个 for 循 环 都 不 用 写 ， 犯 错误 的 机 会 融 少 ， 效 率 还 不 打折 扣 ， 
关键 是 看 看 代 人 码 心 里 爽 。” 这 几 小 节 可 算是 他 这 番 话 的 一 个 注脚 。 
C++11 有 Lambda 表 达 式 ，Scott Meyers 提 倡 的 “Prefer algorithm calls to 
hand-written loops” 束 更 容易 洲 实 了 3。 

题目 “给 你 一 个 字符 串 ， 要 求 原 地 (in-place) 把 相 邻 的 多 个 空格 
蔡 换 为 一 个 2。 例 如 ， 输 入 "a，，b"， 输 出 "a，b"， 输 
入 "aaa，，，bbb，，"， 输 出 "aaa，bbb，,"。 

这 道 题目 不 难 ， 手 写 的话 也 残 是 单 重 循环 ， 复 杂 度 是 OIN) 时 间 和 
O() 空 间 。 这 里 展示 用 std::unique0 的 解法 ， 思 路 很 简单 : std::unique0O 的 
作用 是 去 除 相 邻 的 重复 元 素 ， 我 们 只 要 把 “重复 元 素 ” 定 义 为 "两 个 元 际 
都 是 空格 ” 即 可 。 注 意 所 有 针对 区 间 的 STL algorithm 都 只 能 调换 区 国内 
元 系 的 顺序 ， 不 能 真正 删除 容 右 内 的 元 系 ， 因 此 需要 L17。 关 键 代 人 码 如 
下 : 

















recipes/algorithm/removetLontinuousSpaces.cc 
struct AreBothSpaces 


5 
6 

7 bool operator() (char x, char y) const 
8 

9 return x == " ' && yy == " ; 

10 

ll 村; 


13 vold removeContinyuousSpaces(std::string& str) 


15 std::string::iterator last 
16 = std: :unigque(str.begin(), str.end(), AreBothSpaces()): 
17 str.erase(last, str.end()): 


recipes/algorithm/removeLontinuousSpaces.cc 


12.8.3 ”用 {make,push,pop}_heap0 实 现 多 路 归并 


题目 用 一 台 4G 训 内存 的 机 器 对 磁盘 上 的 单个 100GB 文 件 排序 。2%: 

这 种 单机 外 部 排序 题目 的 标准 思路 是 先 分 块 排序 ， 然 后 多 路 归并 成 
输出 文件 。 多 路 归并 很 容易 用 heap 排 序 实 现 ， 比 方 说 要 归并 已 经 按 从 小 
到 大 的 顺序 排 好 序 的 32 个 文件 ， 我 们 可 以 构造 一 个 32 元 系 的 min heap， 


每 个 元 素 是 std::pair<Record, FILE*>。 然 后 每 次 取出 堆 项 的 元 素 ， 将 其 
Record 写 入 输出 文件 ， 如 果 FILE* 还 可 谈 ， 职 谈 入 一 条 Record， 和 再 回 
heap 中 添加 std::pair<Record, FILE*>。 这 样 当 heap 为 空 的 时 候 ， 多 路 归并 
束 完 成 了 。 注 意 在 这 个 过 程 中 heap 的 大 小 通常 会 慢 慢 变 小 ， 因 为 有 可 能 
东 个 输入 文件 已 经 全 部 谈 完 了 。 

这 种 方法 比 传统 的 二 路 归并 要 节省 很 多 过 磁盘 该 写 ， 假 如 用 教科 书 
上 的 二 路 归并 来 做 外 部 排序 4， 那 么 我 们 要 先 谈 一 遇 这 32 个 文件 ， 两 两 
归并 输出 16 个 稍 大 的 已 排序 中 间 文 件 :， 然后 再 谈 一 过 这 16 个 中 间 文 件 ， 
两 两 归并 输出 8 个 更 大 的 中 间 文 件 ， 如 此 往复 ， 最 后 归并 两 个 已 经 排 好 
序 的 大 文件 ， 输 出 最终 的 结果 。 访 者 可 以 算 算 这 比 直 接 多 路 归并 要 多 该 
写 多 少 人 退 侯 检 。 

完整 的 外 部 排序 代码 见 recipes/esort/sort02.cc 及 其 改进 版 sort{03,04.cc 
。 这 里 展示 一 个 内 存 里 的 多 路 归并 ， 以 说 明基 本 思路 。 


recipes/algorithm/mergeN.cc 
39 File mergeN(const std::vector<File>& files) 


40 二 

41 File Output : 

42 std: :vector<Input> inputs: 

43 

44 for (slize_t 1 = ©@;:; 1 < files.size(): ++1i}) { 
45 Input input(&files[i]): 

46 if (input.next()) { 

47 inputs.push_back(input): 

48 } 

49 

50 

51 std: :make_heap(inputs.begin{(), linputs.end()): 
52 while (linputs.empty(Y)) { 

53 std: :pop_heap(inputs.begin(), inputs.end()); 
54 output.push_back(inputs.back() .value): 

35 

56 if (inputs.back(} .next(}) { 

57 std: :push_heap(inputs.begin(), inputs.end()):; 
58 } else { 

59 inputs.pop_back(). 

60 } 

61 } 

62 

63 return Output:; 

64 


recipes/algorithm/mergeN.cc 


L44~L51 构 造 一 个 binary heap，L52 开 始 的 while 循 环 反 复 取出 堆 顶 
元 北 〈L53 std::pop_heap0O 会 把 堆 项 元 际 放 到 序列 末尾 ， 妇 inputs.back() 
处 ) ，L54 把 取出 的 元 素 〈 当 前 最 小 值 ) 输出 。L56 一 L60 从 扒 顶 元 系 所 
属 的 文件 谈 入 下 一 条 记录 ， 如 条 成 功 ， 残 把 它 放 回 蕉 中 〈L57) 。 当 循 


环 结束 的 时 候 ， 堆 为 空 ， 说 明 每 个 文件 都 读 完 了 。 其 中 用 到 的 Input 类 型 
定义 如 下 。 


recipes/algorithm/mergeN.cc 
typedef int Record. 


typedef std::vector<Record> File; 


struct lnput 
{ 
Record value: 
const File* file: 
explicit Input(const Filex f); 
bool next(): 


bool operator<(const Input& rhs)y const 


:i make_heap to build min-heap, for merging 
return value > rhs,valye; 
} 
recipes/algorithm//mergeN.cc 
以 上 是 多 路 归并 的 实现 ， 再 来 考虑 第 一 阶段 分 块 排序 的 流水 线 设 
计 。 先 做 一 个 简化 的 假设 : 普通 机 械 便 盘 的 顺序 读 写 速度 是 100MB/s， 
既然 可 用 内 存 为 4GB， 那 么 分 块 (chunk〉 的 大 小 就 选 定 为 IGB， 这 样 
读 入 和 写 出 一 个 分 块 均 耗 时 10 秒 。 再 假设 在 内 存 中 排序 1GB 数 据 耗 时 10 
秒 。 为 了 编程 方便 ， 磁盘 IO 用 阻 窄 方 式 。 按 照 这 些 假设 ， 如 琳 用 曲线 程 
的 方式 实现 外 部 排序 ， 第 一 阶段 的 耗 时 是 30N 秒 ， 其 中 N 是 分 其 数目 。 
对 一 个 6GB 的 文件 排序 ， 单 线程 程序 〈Ssort02.cc ) 的 执行 过 程 如 图 12-10 
所 示 ， 第 一 阶段 将 耗 时 180 秒 《只 男 出 前 120 秒 ) 。 和 内 存 消耗 为 1GB。 


| 10|12|131401516 171m|1 台 | 100|110 | 120| 
One disk, one thread 















1 A |read| sort | write 
2 A 
3 A 
4 A 
5 A 
6 A 
Busy D 已 D D CG D D C D D CG D 
图 12-10 


注意 到 ， 在 程序 执行 时 ， 要 么 CPU 繁忙 ， 要 么 硬盘 繁忙 〈Busy 行 的 
D 表 示 磁 盘 ，C 表 示 CPU) ， 资 源 并 没有 充分 利用 起 来 。 为 了 加 快 排序 
速度 ， 我 们 考虑 用 多 线程 ， 让 计算 和 IO 重 登 ， 减 少 整体 运行 时 间 。 注 意 


这 里 我 们 不 能 人 简单 地 起 多 个 进程 ， 每 个 进程 分 别 排 序 一 个 chunk， 因 为 
下 而 机 械 人 硬盘 的 随机 读 取 比 顺 序 恋 
又 慢 得 多 。 

一 种 解雇 办 法 是 把 IO 放 入 一 个 单独 的 线程 ， 避 免 争 抢 ， 然 后 用 另外 
的 线程 (S) 来 排序 内 存 中 的 数据 块 。 换 句 话 说 ， 一 个 线程 做 IO (由 于 只 有 
一 块 硬盘 ， 那 么 不 必 使 用 多 个 IO 线程 ) ， 再 用 一 个 线程 池 做 计算 ， 以 实 
现 IO 和 计算 重 登 。 我 们 预计 这 种 方式 完成 分 块 排序 将 会 耗 时 120 秒 ， 比 
单线 程 快 33%. 预 计 执行 流程 〈 流 水 线 ) 如 图 12-11 所 示 。 


| 10|20|30|40|50|60|70|80 | 90 | 100 | 110| 120| 
One disk, two threads 









1 太 merge 
2 8B read | sort | wait | write 
3 A read | sort | wait | write 
4 日 | read | sort | wait | write | | | 
5 A | read | sort | wait | write | 
6 B 
Busy D DG [HL D DG D DG D DG D DG D 
图 12-11 


注意 同 一 时 刻 磁 盘 要 么 顺序 谈 ， 要 么 顺序 写 ， 避 免 反 复 寻 道 的 开 
销 。 这 种 方案 会 让 CPU 和 和 破 盘 同时 索 忙 ， 提 高 了 资源 利用 率 ， 内 存 消 耗 
为 2GB。 这 种 思路 的 代码 见 sort03 cc 。 图 12-12 是 一 次 实际 运行 的 情况 ， 
方块 的 宽度 与 时 间 成 正比 。 这 里 实际 的 矶 盘 和 CPU 的 速度 比 前 面 的 假设 
要 快 ， 因 此 第 一 阶段 总 耗 时 90 秘 。 





图 12-12 


注意 到 CPU 的 知 吐 量 〈 每 秒 排序 100MB 数 据 ) 大 于 单 块 磁盘 行 吐 量 
( 读 写 100MB 共 耗 时 2 秒 ) ， 因 此 仍然 会 出 现 CPU 等 竺 IO 的 情况 。 如 采 
有 不 止 一 顽 了 酸 和 检 ， 可 以 重新 设计 流水 线 ， 进 一 步 压 缩 运行 时 间 。 比 方 说 
把 输入 数据 全 部 放 在 $ 盘 〈source) ， 把 分 块 排 序 的 中 间 结 果 放 到 T 检 
(temporary) ， 这 样 两 块 人 磁盘 一 旋 一 写 ， 可 以 相互 重 登 。 在 归并 阶段 ， 
目 然 可 以 从 I 盘 谈 数 据 写 到 S$ 往 。 这 需要 用 到 两 个 IO 线程 ， 每 个 磁盘 配 
一 个 IO 线程 ， 确 体 每 个 磁盘 都 是 顺序 访问 的 ， 以 保证 吞吐 量 。 这 种 方 条 
的 分 其 排序 预计 用 时 80 秒 ， 预 计 执行 浙 程 如 图 12-13 所 示 ， 比 第 一 种 快 


50% 以上， 内 存 消耗 也 增长 到 3GB。 (这 种 方案 的 实现 留 作 练习 。) 
| 10 | 20 | 30 | 40 | 50 | 60 | 70 | 8 | 90 


Two disks, three threads 







1 read S| sort [writeT| merge 
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read S 
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图 12-13 


还 有 一 个 简单 的 优化 措施 : 最 后 的 两 三 个 排序 结果 不 必 写 入 磁盘 ， 
而 是 直接 在 内 存 中 参与 多 路 归并 ， 这 样 大 约 可 以 再 节约 10 秒 。 

类 似 的 题目 : 有 a、b 两 个 文件 ， 大 小 各 是 100GB 左 右 ， 每 行 长 度 不 
超过 1kB， 这 两 个 文件 有 少量 〈 几 百 个 ) 重复 的 行 ， 要 求 用 一 人 台 4GiB 内 
存 的 机 占 找 出 这 些 重复 行 。 

解 这 道 题目 有 两 个 方 辐 ， 一 是 hash， 把 a、b 两 个 文件 按 行 的 hash 取 
模 分 成 几 百 个 小 文件 ， 每 个 小 文件 都 在 1GB 以 内 ， 然 后 对 a 、bi 求 交 集 
C1 ， 对 a， 、 b, 求 父 条 人 65 》 这 样 束 能 在 内 存 里 解决 了 。 

第 二 个 思路 是 外 部 排序 ， 但 是 跟前 面 完 整 的 外 部 排序 不 同 ， 我 们 并 
不 需要 得 到 两 个 已 排序 的 文件 〈a 和 Pb') 再 求 交 集 ， 只 需要 把 a 分 块 排 序 
成 100 个 小 文件 ， 再 把 b 分 块 排序 成 100 个 小 文件 。 剩 下 的 工作 惑 是 一 边 
谈 这 些小 文件 ， 一 边 在 内 存 中 同时 归并 出 a 和 b'， 一 边 求 出 交集 。 内 存 
中 的 两 个 多 路 归并 需要 两 个 heap， 分 别 对 应 a 和 b 的 小 文件 (s)。 内 存 中 的 
运算 流程 如 图 12-14 所 示 。 








WA 
py iIntersection 
FOO 
merge B) 
好] i i | 0) pb bs» ee b 100 


图 12-14 


代码 写 起 来 估计 比 单个 heap 归 并 要 复杂 一 些 ， 特 别 是 C++ 不 文 持 其 
似 C#H 的 yield 关 键 字 来 方便 地 实现 迄 代 。 假 如 C++ 有 yield， 那 么 “ 求 交 


集 ” 这 一 步 我 们 直接 调用 std::set_intersection() 并 配合 适当 的 迭代 妖 束 行 

了 ， 但 是 在 没有 yield 的 情况 下 要 实现 这 样 的 迭代 器 恐怕 要 费事 得 多 ， 因 

为 每 个 迭代 器 要 维护 更 多 的 状态 。 这 算是 coroutine 的 一 个 使 用 场景 。 
上 面 两 种 解法 的 代价 都 是 额外 200GB 人 磁盘 空间 ， 请 读者 思考 有 没有 

大 大 节省 磁盘 空间 的 做 法 。 为 外 一 个 延伸 的 题目 是 ， 有 几 个 巨大 的 文本 

文件 ， 每 行 存放 一 个 查询 (guery) ， 将 所 有 query 按 出 现 次 数 排序 〈 代 

t3https://gist.github.com/4009225 ) 。 


12.8.4 用 partition0 实 现 “ 重 排 数 组 ， 让 柯 数 位 于 介 数 前 面 ” 


std::partition() 的 作用 是 把 符合 条 件 的 元 系 放 到 区 间 首 部 ， 不 和 侍 合 条 
件 的 元 系 放 到 区 则 后 部 ， 我 们 只 需 把 “符合 条 件 ” 定 义 为 “元 系 是 奇 数 ” 束 
能 解决 这 道 题 。 复 杂 度 是 O(N) 时 间 和 O(1) 空 间 。 为 节省 篇 幅 ，isOdd0) 直 
接 做 成 了 函数 ， 而 不 是 函数 对 象 ， 缺 点 是 有 可 能 阻碍 编译 旧 实 施 
inlining。 
recipes/algorithm/partition.cc 


bool isoOdd(int x) 


5 
6 二 

T return x 2 != 0; // x %2 == 1 1is WRONG 
8 


】 


10 void moveQddsBeforeEvens() 


li 装 

12 int oddeven[] ={1 1, 2, 3, 4, 5, 6 }: 

13 std: :partition(oddeven, oddeven+6, &isQdd): 

14 std: :copy(oddeven, oddeven+6, std::ostream_iterator<int>(std::cout, ", ")); 
15 std: :cout << std::endl; 

16  } 


recipes/algorithm/partition.cc 

输出 如 下 ， 注 意 确实 满足 “奇数 位 于 侦 数 之 前 ”， 但 奇数 元 素 之 间 的 
相对 位 置 有 变化 ， 仿 数 元 系 认 是 如 此 。 

] ， 5 3, 4, 2 6, 

如 果 题 目 要 求 改 成 “调整 数组 顺序 使 奇数 位 于 偶数 前 面 ， 并 且 保 持 
奇数 的 先后 顺序 不 变 ， 人 偶数 的 先后 顺序 不 变 ”， 解 诀 办 法 也 一 样 测 单 ， 
改 用 std::stable_partition0 即 可 ， 人 代码 及 输出 如 下 : 

int oddeven[] = { 1, 2, 3, 4, 5, 6 }; 

std::stable_partition(oddeven, oddeven+6b, &1lsQdd); 

std::copy(oddeven, oddeven+6, std::0ostream_iterator<int>(std::cout, ", ")):; 

std: :cout << std: :endl; 

1 条 出 1 3 2 过， R 

注意 ， stable_partition0 的 复杂 上 度 较 特殊 ; 在 内 和 存 芭 下 的 情况 下 ， 用 
用 与 原 数 组 一 样 大 的 空间 ， 复 杂 度 是 O(N) 时 间 和 O(N) 空 间 ， 在 内 存 不 


中 的 情况 下 ， 要 做 p-place 位 置 调 换 ， 复 杂 度 是 O(N logN) 时 间 和 0O(1) 空 
[es 

关 似 的 题目 还 有 “调整 数组 顺序 使 负数 位 于 非 负 数 表 面 ?， 恋 者 应 能 
7 


12.8.5 用 lower_bound() 查 找 IP 地 址 所 属 的 城市 


题目 已 知 N 个 了 P 地 址 区 间 和 它们 对 应 的 城市 名 称 ， 写 一 个 程序 ， 
能 从 IP 地 址 找到 它 所 在 的 城市 。 注 意 这 些 IP 地 址 区 间 互 不 重 闭 。 

这 道 题 日 的 naive 解 法 是 O(N)， 借 助 std::lower_bound0O) 可 以 轻易 做 到 
OUogN) 查 找 ， 代 价 是 事先 做 一 遍 O(N logN) 的 排序 。 如 果 区 间 相 对 固定 
而 得 找 很 频 索 ， 这 么 做 是 值得 的 。 

基本 思路 是 按 了 了 区间 的 首 地 址 排 好 序 ， 再 进行 二 分 查找 。 比 如 说 有 
两 个 区 间 [300, 500]、[600, 750]， 分 列 对 应 北京 和 香港 两 个 城市 ， 那 么 
std::lower_bound() 查 找 299、300、301、499、500、501、599、600、 
601、749、750、751 等 IP 地 址 ”返回 的 迭代 器 如 图 12-15 所 示 。 


301, 499 
500, 501 601, 7149 
299, 300 399, 600 150, 731 





S00 750 
Being Hong Kong 
图 12-15 
我 们 需要 对 返回 的 结果 微调 (L28~L32〉 ， 使 得 迭代 器 it 所 指 的 区 
间 是 唯一 有 可 能 包含 该 耻 地 址 的 区 间 ， 如 图 12-16 所 示 。 


299, 300, 301 600, 60] 
499, 500, 501 /749, 71750 





599 715] 
| | 
300 OUU end 
三 三 | 

500 750 


Beilne Hone Rong 
图 12-16 
最 后 判 汤 一 下 IP 地 址 是 否 位 于 这 个 区 则 就 行 了 〈(L34) 。 完 整 代码 
如 下 ， 为 了 简化 ，“ 城 市 ”用 整数 表示 ，--1 表 示 示 找到。 男 外 ， 这 个 实现 
对 于 整个 IP 地 址 空间 都 是 正确 的 ， 即 便 区 间 中 包括 [255.255.255.0， 
255.255.255.255] 这 种 边界 条 件 。 


过 过 


2 
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Tecipes/algorithm/iprange.cc 
struct IPrange 


Uint32_t startIp; // inclusive 
Uint32_t endIp: 7 inclusive 
int value: /i >= 8 


bool operator<(const IPrange& rhs) const 
{ 
return startIp < rhs.startIp; 
} 
}; 


i:/: REQUIRE: ranges 1S sorted. 
int findIpValue(const std: :vector<IPrange>& ranges, Uint32_t ip) 
{ 


int result = -1: 


if (lranges.empty()) { 
IPrange needle = { ip, 8, @ }; 
std::vector<IPranee>: :const_iterator 1t 
= std::lower_bound(ranges.begin(), ranges.end(), needle): 

if (it == ranges.end()) { 

-1t; 
} else if (it != ranges,.begint) && it->startIp > ip) { 

a 


} 


if (it->startIlp <= ip 8& it->endIp >= ip} { 
result = it->value: 
J 
} 


return result: 


} 
recipes/algorithm/iprange.cc 


说 明 : 如 来 IP 地 址 区 间 有 乍 复 ， 那 么 我 们 通常 要 用 线段 树 s 来 实现 


局 效 的 僵 询 。 为 外 ， 在 趴 实 的 场景 中 ，IP 地 址 区 间 通 常 适用 专门 的 
longest prefix match 算 法 ， 这 会 比 本 的 通用 算法 更 快 。 


小 结 


想到 正确 的 思路 是 一 个 事 ， 写 出 正确 的 、 经 得 起 推 玻 的 代 公 是 为 一 


码 事 。 例 如 8§12.8.4 用 (x % 2 != 0) 来 判断 int x 是 否 为 奇数 ， 如 果 瑟 成 (x % 
2 == 1) 束 古 错 的 ， 因 为 x 可 能 是 负数， 负数 的 取 模 运算 的 天 办 见 812.3。 
遇见 的 错误 还 包括 误 用 char 的 值 作为 数组 下 标 〈 和 面试 题目 : 统计 文件 中 
每 个 字符 出 现 的 次 数 ) ， 但 是 没有 考虑 char 可 能 是 负数 ， 造 成 访问 越 

界 。 有 的 人 考虑 到 了 char 可 能 是 负数 ， 因 此 先 强 制 转 型 为 unsigned int 再 


用 作 下 标 ， 这 仍然 是 错 的 。 正 确 的 做 法 是 强制 转型 为 unsigned char 再 用 
作 下 标 ， 这 涉及 C/C++ 整 型 提升 的 规则 ， 融 不 评述 了 。 这 些 细 贡 往往 是 
面试 官 的 考 穴 点 2 。 丁 给 出 的 解法 在 正确 性 方面 应 该 是 没 问 题 的 ， 在 
效率 方面 ， 可 以 说 在 Big-O 意 义 下 十 最 优 的 ， 但 不 一 定 征 运行 最 快 的 。 

另外， 面试 题 的 目的 可 能 束 是 让 你 动手 实现 一 些 STL 算 法 ， 例 如 求 
两 个 有 序 集合 的 交集 (set_intersection())、 洗 脾 (random_shuffle()〉 等 
等 ， 这 了 吏 不 属于 本 和 所 讨论 的 范围 了 了。 从 “算法 ?本 刁 的 难度 上 看 ， 我 个 
人 把 STL algorithm 分 为 三 类 ， 面 试 时 要 求 手写 的 往往 是 第 二 类 算法 。 


容易， 即 闭 看 眼睛 一 想 束 知道 是 如 何 实现 的 ， 目 己 手 写 一 可 的 难 
度 跟 strlen0 和 strcpy0O 差 不 多 。 这 关 算 法 基本 上 了 吏 是 遇 历 一 遇 输 入 区 间 ， 
对 每 个 元 叉 做 些 判 新 或 操作 ， 一 个 for 循 环 束 解决 问题 。 一 半 左 右 的 STL 
algorithm 属 于 此 类 ， 例 如 for_eachO、transformO、accumulateO 等 等 。 

: 较 难 ， 知 道 思路 ， 但 是 要 与 出 正确 的 实现 要 考虑 清楚 各 种 边界 条 
件 。 例 如 merge()、unigque()、remove()、random_shuffle()、 
lower_bound()、partition() 等 等 ， 三 成 左右 的 STL algorithm 属 于 此 类 。 

: 难 ， 要 在 一 个 小 时 内 与 出 正确 的 、 健 壮 的 实现 基本 不 现实 ， 例 如 
sort()s、nth_element()、next_permutation()、inplace_merge() 等 等 ， 约 有 
两 成 STL algorithm 属 于 此 类 ，。 


注意 , “容易 ”级别 的 算法 是 指 写 出 正确 的 实现 很 容易 ， 但 不 一 定 意 
味 着 写 出 高 效 的 实现 也 同样 容易 ， 例 如 std::copy0 找 贝 POD 类 型 的 效率 
可 媲美 memcpy(0)， 这 需要 用 一 点 模板 技巧 。 

以 上 分 类 纯 属 个 人 主观 看 法 ， 或 许 别 人 有 不 同 的 分 类 法 ， 例 如 把 
remove() 归 入 简单， 把 next_permutation() 归 入 较 难 ， 把 lower_bound() 归 
入 难 等 。 


注释 


| 一 


gcc 的 作者 明说 这 种 写法 是 undefined 的 ， 见 http://gcc.gnu.org/bugzilla/show_bug.cgi?id=39121 


http://www.stroustrup.com/bs faq2.html#evaluation-order 
GCC 4.x 有 一 个 编译 警告 选项 -Wsequence-point 可 以 报告 这 种 错误 。 
http://www.linux-kongress.org/2009/slides/compiler survey fellx von leitner.pdf 
译文 引 目 畦 和 春 翻 译 的 《代码 整洁 之 道 》， 笔 者 对 文字 略 有 修改 。 
http://sclenceblogs.com/goodmath/2006/11/the c is efficient language fa.php 
http://blog.csdn.net/Solstice/archive/2009/08/02/4401382.aspx 
http://locklessinc.com/benchmarks allocatorshtml 
http://www.python.org/dev/peps/pep-0020/ 
http://accu.org/content/conf2008/Alexandrescu-memory-allocation.screen.pdf 
http://www.cs.umass.edu/~emery/pubs/berger-o0psla2002.pdf 


1 IO Ice I IO IJ I II 
一 【到 


http://www.cs.umass.edu/~emery/talks/OOPSLA-2002.ppt 
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http://synesis.com.au/publications.html 搜 conversions 


网 上 能 下 载 到 的 一 份 便 上 略 版 也 有 相同 的 内 容 ， 见 


http://www.literateprogramming.com/ctraps.pdf 第 7.5 节 。 


J 
15 


http://www.open-std.org/Jtc1/sc22/wgl4/www/C99RationaleV3.10.pdf 
http://gcc.gnu.org/onlinedocs/gcc/Integers-Iimplementation.html 
http://msdn.microsoft.com/en-us/library/eayc4fzk.aspx 
http://java.sun.com/docs/books/jls/third edition/html/expressions.html#15.17.2 
http://msdn.microsoft.com/en-us/vcsharp/aa? 36809.aspx 
http://docs.python.org/reference/expressions.html#binary-arithmetic-operations 
http://www.ruby-doc.org/docs/ProgrammingRuby/html/ref c numeric.html#Numeric.divmod 
http://perldoc.perl.org/perlop.html#Multiplicative-Operators 
http://svn.python.org/view/python/tags/r266/0bjects/intobject.c?vilew=markup 
http://svn.ruby-lang.org/cgl-bin/viewvc.cgl/tags/V1 8 / 334/numeric.c?view=markup 
Computer Organization and Design: The Hardware/Software Interface, 4th ed. 
http://stackoverflow.com/questions/2924440/advice-on-mocking-system-calls 
http://google-styleguide.googlecode.com/svn/trunK/cppguide.xml#Namespace_Formatting 
libstdc++ 的 std::string 是 Nathan Myers 的 手笔 

如 果真 的 用 到 了 ， 束 继续 使 用 std: Ee :Vector<char> 好 了 。 
http://coolshell.cn/articles/1443.html! 
http://llym.org/viewvc/llvym-project/libcxx/trunk/include/string?view=markup 
http://complement.sourceforge.net/compare.pdf 

C++ 标准 库 的 string 有 很 多 设计 缺陷 ， 见 Herb Sutter 的 《Exceptional C++ Style》 第 37 一 


见 Steve Donovan 写 的 《Overdoing C++ Templates》 ( 


http //blog ‘csdn.net/myan/article/details/1915 ) 。 
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http://www.open-std.org/ [C1/SC22/WG21/docs/lwg-defects.html#5 30 
http://complement.sourceforge.net/compare.pdf 
http://cs.utsa.edu/~wagner/knuth/ 
http://blog.csdn.net/hzbooks/article/detalls/3/6/169 
http://drdobbs.com/184401446 
来 自 https://gist.github.com/2227226 。 
题目 改编 自 http://blog.csdn.net/pennyliang/article/details/7073777 。 
这 种 教科 书 有 可 能 是 在 大 型 机 还 在 使 用 磁 囊 外 存 的 时 候 写 成 的 。 
http://en.wikipedla.org/WwIkIi/Segment tree 
工作 5 年 以 来 ， 我 面试 过 近日 人 ， 因此 这 番 话 是 从 面试 官 的 角度 说 的 。 
要 考虑 随机 数 生 成 器 的 状态 空间 ( 


http //en Wikipedia.org/Wwiki/Fisher-Yates shuffle#Potential sources of bias ) 。 
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快速 排序 是 本 科 生 数据 结构 课 上 就 有 的 内 容 ， 但 是 中 工业 强度 的 实现 是 足以 在 顶级 其 


刊 上 发 论文 的 。 


第 4 部 分 


只 孙 


附录 A 谈 一 谈 网 络 编程 学 习 经 验 


本 文 谈 一 谈 我 在 学 习 网 络 编 程 方面 的 一 些 个 人 经 验 。“ 网 络 编程 ”这 
个 术语 的 范围 很 广 ， 本 文 指 用 Sockets API 开 发 基于 TCP/IP 的 网 络 应 用 程 
序 ， 上 有 具体 定义 见 S8A.1.5“ 网 络 编程 的 各 种 任务 角色 ”。 

受 限 于 本 人 的 经 历 和 经 验 ， 本 附录 的 适应 范围 是 : 


- 


“x86-64 Linux 服 务 病 网 络 编 程 ， 直 接 或 间接 使 用 Sockets API。 
公司 内 网 。 不 一 定 古 局 域 网 ， 但 妃 体位 于 公司 防火 墙 之 内 ， 坏 境 
可 控 。 


PC 各 户 站 网 络 编程 ， 程 序 运 行 在 客户 的 PC 上 ， 环 境 多 变 且 不 可 
控 。 


`Windows 网 络 编程 。 
' 面 癌 公 网 的 服务 程序 。 
:高 性 能 网 络 服务 器 。 


本 文 分 两 个 部 分 : 

1. 网 络 编程 的 一 些 “ 胡 思 乱 想 ”， 以 目 问 日 答 的 形式 谈 谈 我 对 这 一 
领域 的 认识 。 

2， 儿 本 必 看 的 书 ， 基 本 上 还 是 W. Richard Stevents 的 那儿 本 。 

另外 ， 本 文 没 有 特别 说 明 时 均 瞳 指 TCP 协 议 , “和 连接” 是“TCP 连 
接 ”， “服务 问 ? 是 “ITCP 服 务 端 ”。 
A.1 网 络 编程 的 一 些 “ 骨 思 乱 想 ” 

以 下 大 致 列 出 我 对 网 络 编程 的 一 些 想 法 ， 前 后 无 关联 。 


A.1.1 网 络 编程 是 什么 


网 络 编程 是 什么 ? 是 熟练 使 用 Sockets API 吗 ?” 说 实话 ， 在 实际 项 目 
里 我 只 用 过 两 次 Sockets API， 其 他 时 候 都 是 使 用 封装 好 的 网 络 库 。 

第 一 次 是 2005 年 在 学 校 做 一 个 羽毛 球赛 场 计 分 系统 : 我 用 C# 编 写 运 
行 在 PC 上 的 软件 ， 负 贡 比 分 的 显示 ; 再 用 C# 与 了 运行 在 PDA 上 的 计 分 
界面 ， 记 分 员 拿 着 PDA 记 录 比 分 ， 这 两 部 分 程序 通过 TCP 协 议 相 互通 
信 。 这 其 实 是 个 简单 的 分 布 式 系统 ， 人 体育馆 有 儿 斤 场地， 每 个 场地 都 有 
一 名 拿 PDA 的 记分 员 ， 每 个 场地 都 有 两 台 显 示 比 分 的 PC《〈 显 示 器 是 42 
寸 平板 电视 ， 放 在 场地 的 对 角 ， 这 样 两 边 看 人 台 的 观众 都 能 看 到 比分 ) 。 
这 两 台 PC 的 功能 不 完全 一 样 ， 一 合 只 负责 最 示 当 前 比分 ， 另 一 人 台 还 要 
负责 与 PDA 通 信 ， 并 更 新 数据 库 里 的 比分 信息 。 此 外 ， 还 有 一 全 PC 人 负 
贡 周 期 性 地 从 数据 库 谈 出 全 部 7 片场 地 的 比分 ， 时 示 在 体育 饥 场 上 的 大 
屏蔽 上 。 这 人 台 PC 上 还 运行 着 一 个 程序 ， 负 贡生 成 比分 数据 的 静态 页 
面 ， 通 过 FTP 上 传 发 布 到 菜 门 户 网 站 的 体育 频道 。 系 统 中 还 有 一 个 录入 
者 程 ( 参 宪 队 、 运 动员 、 出 场 顺序 等 ) 数据 库 的 程序 ， 运 行 在 数据 库 服 
务 髓 上 。 算 下 来 整个 系统 有 十 来 个 程序 ， 运 行 在 二 十 多 人 台 设 备 (PC 和 
PDA) 上 ， 还 要 考虑 可 靠 性 ， 避 人 急 single point of failure。 

这 是 我 第 一 次 写实 际 项 目 中 的 网 络 程 序 ， 当 时 写 下 来 的 感觉 是 像 写 
命令 行 与 用 户 交 互 的 程序 : 程序 在 命令 行 输 出 一 句 提 示 语 ， 等 每 客户 输 
入 一 句 话 ， 然 后 处 理 客户 输入 ， 再 输出 下 一 句 提 示 语 ， 如 此 循环 。 只 不 
过 这 里 的 “客户 ?不 是 人 ， 而 是 另 一 个 程序 。 在 建立 好 TCP 连 接 之 后 ， 双 
方 的 程序 都 是 read/write 循 坏 〈( 为 求人 简单 ， 我 用 的 是 blocking 读 写 ) ， 再 
到 有 一 方 断 开 和 连接。 

第 二 次 是 2010 年 编号 muduo 网 络 库 ， 我 再 次 拿 起 了 Sockets API， 与 
了 一 个 基于 Reactor 模 式 的 C++ 网 络 库 。 写 这 个 库 的 目的 之 一 束 是 想 让 日 
第 的 网 络 编程 从 Sockets API 的 开 雁 细节 中 解脱 出 来 ， 让 程序 员 专 注 于 业 
务 逻 辑 ， 把 时 间 用 在 思 为 上 。muduo 网 络 库 的 示例 代 人 码 包 含 了 几 十 个 网 
络 程序 ， 这 些 示 例 程序 都 没有 和 直接 使 用 Sockets API。 

在 此 之 外 ， 无 论 是 实习 还 是 工作 ， 虽 然 我 写 的 程序 都 会 通过 TCP 协 
议 与 其 他 程序 打交道 ， 但 我 没有 直接 使 用 过 S$ockets API。 对 于 TCP 网 络 
编程 ， 我 认为 核心 是 人 处理“ 三 个 半 事 件 ”， 见 86.4.1“TCP 网 络 编程 本 质 
论 >。 程 序 员 的 主要 工作 是 在 事件 处 理 测 数 中 实现 业务 逻辑 ， 而 不 是 和 
Sockets API“ 较 劲 ”。 

这 里 还 是 没有 说 清楚 “网 络 编 程 * 是 什么 ， 请 继续 阅读 后 文 3A.1.5“ 网 
络 编程 的 各 种 任务 角色 ”。 


A.1.2 学习 网 络 编程 有 用 吗 


以 上 说 的 是 比较 撒 层 的 网 络 编程 ， 程 序 代码 直接 面 对 从 TCP 或 UDP 
收 到 的 数据 以 及 构造 数据 包 发 出 去 。 在 实际 工作 中 ， 另 一 种 稼 见 的 情况 
是 通过 各 种 client library 来 与 服务 新 打交道 ， 或 者 在 现成 的 框架 中 填空 来 
实现 server， 或 者 采用 更 上 层 的 通信 方式 。 比 如 用 libmemcached 与 
memcached 打 有 交道， 使 用 libpq 来 与 PostgreSQL 打 交道 ， 编 写 Servlet 来 啊 
以 HTTP 请 求 ， 使 用 茶 种 RPC 与 其 他 进程 通信 ， 等 等 。 这 些 情况 都 会 友 
生 网 络 通信 ， 但 不 一 定 算 作 “ 网 络 编程 >。 如 末 你 的 工作 是 前 面 列举 的 这 
些 ， 学 习 TCP/IP 网 络 编程 还 有 用 吗 ? 

我 认为 还 是 有 必要 学 一 和 学， 人 至少 在 troubleshooting 的 时 候 有 用 。 无 
论 如 何 ， 这 些 library 或 framework 都 会 调用 撒 层 上 Sockets API 来 实现 网 络 
功能 。 当 你 的 程序 遇 到 一 个 线 上 问题 时 ， 如 条 你 熟悉 Sockets API， 那 么 
从 strace 不 难 用 现 程 序 卡 在 哪里 ， 尽 管 可 能 你 没有 直接 调用 这 些 Sockets 
API。 另 外 ， 熟 悉 TCP/P 协 议 、 会 用 tcpdump 也 非常 有 助 于 分 析 解 决 线 上 
网 络 服务 问题 。 


A.1.3 在 什么 平台 上 学 习 网 络 编程 


对 于 服务 端 网 络 编程 ， 我 建议 在 Linux 上 和 学习。 

如 果 在 10 年 前 ， 这 个 问题 的 答案 或 许 是 FreeBSD， 因 为 FreeBSD“ 根 
正 盏 红 ”， 在 2000 年 那 一 次 互联 网 良 漳 中 扮 江 了 重要 角色 ， 是 很 多 公司 
首选 的 免费 服务 器 操作 系统 。2000 年 那 会 儿 Linux 还 远 示 成熟 ， 连 epoll 
都 还 没有 实现 。 (FreeBSD 在 2001 年 发 布 4.1 版 ， 加 入 了 kqueue， 从 此 
C10k 个 是 问题 。) 

10 年 后 的 今天 ， 事 情 起 了 一 些 变 化 ，Linux 成 为 市 场 份额 最 大 的 服 
务 右 操作 系统 !。 在 Linux 这 各 大众 系统 上 学 网 络 编 程 ， 壳 到 什么 问题 会 
比较 容易 解决 。 因 为 用 的 人 多 ， 你 过 到 的 问题 别人 多 半 也 过 到 过 ;同样 
因为 用 的 人 多 ， 如 果真 的 有 什么 内 核 bug， 很 快 就 会 得 到 修复 ， 人 至 少 有 
work around 的 办 法 。 如 果 用 别 的 系统 ， 可 能 一 个 问题 友 到 论坛 上 半 个 月 
都 不 会 有 人 理 。 从 内 核 源 人 码 的 风格 看 ，FreeBSD 更 干将 整洁 ， 注 释 到 
位 ， 但 是 无 奈 它 的 市 场 份额 远 不 如 Linux， 学 习 Linux 是 更 好 的 技术 投 


A.1.4 可 移植 性 重要 吗 
写 网 络 程序 要 不 要 考虑 移植 性 ? 要 不 要 跨 平 台 ? 这 取决 于 项 目 需 


要 ， 如 果 贯 公司 做 的 程序 要 忌 给 其 他 公司 ， 而 对 方 可 能 使 用 Windows、 
Linux、EFEreeBSD、Solaris、AIX、HP-UX 等 等 操作 系统 ， 这 时 候 当 然 要 


考 谍 移植 性 。 如 采编 写 公 司 内 部 的 服务 项 上 用 的 网 络 程序 ， 那 么 大 可 只 
关注 一 个 平台 ， 比 如 Linux。 因 为 编写 和 维护 可 移植 的 网 络 程 序 的 代价 
相当 高 ， 乎 台 间 的 甜 央 可 能 远 比 想象 中 大 ， 即 便 是 POSIX 系 统 之 间 也 有 
不 小 的 差异 〈 比 如 Linux 没 有 SO_NOSIGPIPE 选 项 ，Linux 的 pipe(2) 是 单 
问 的 ， 而 FreeBSD 是 双 同 的 ) ， 错 误 有 的 返回 码 也 大 不 一 样 。 

我 束 不 打算 把 muduo 往 Windows 或 其 他 操作 系统 移植 。 如 果 和 需要 编 
写 可 移植 的 网 络 程 序 ， 我 宁愿 用 libevent、libuv、Java Netty 这 样 现成 的 
库 ， 把 “ 脏 活 、 累 活 ” 留 给 别人 。 


A.1.5 网 络 编程 的 各 种 任务 角色 


计算 机 网 络 是 个 big topic， 涉 及 很 多 人 物 和 角色 ， 既 有 开 及 人 员 ， 
也 有 运 维 人 员 。 比 方 说 : 公司 内 部 两 台 机 需 之 间 ping 不 通 ， 通 音 由 网 络 
运 维 人 员 解 决 ， 看 看 是 布线 有 问题 还 是 路 由 需 设 置 不 对 ; 两 侣 机 霹 能 
ping 通 ， 但 是 程序 连 不 上 ， 经 检查 是 本 机 防火 增设 置 有 问题 ， 通 党 由 系 
统管 理 员 解 决 ; 两 人 台 机 需 能 连 上 ， 但 是 丢 包 很 严重 ， 改 现 是 网 卡 或 者 交 
换 机 的 网 口 故 障 ， 由 便 件 维修 人 员 解 诀 ; 两 台 机 和 需 的 程序 能 过 上， 但 是 
人 通常 是 程序 bug， 应 该 由 开发 人 员 解 
优 。 
本 文 主要 关心 开 有 故人 员 这 一 角色 。 下 面 简 单列 出 一 些 我 能 想到 的 跟 
网 络 打交道 的 编程 任务 ， 其 中 前 三 项 是 面 同 网 络 本 里， 后 面 几 项 是 在 计 
算 机 网 络 之 上 构建 信息 系统 。 


1. 开发 网 络 设备 ， 编 写 防火 墙 、 交 换 机 、 路 由 占 的 固件 
(firmware) 。 

2. 开 友 或 移植 网 卡 的 驱动 。 

3. 移植 或 维护 TCP/IP 协 议 栈 (特别 是 在 舱 入 式 系 统 上 ) 。 

4. 开发 或 维护 标准 的 网 络 协议 程序 ，HTTP、FTP、DNS、 

SMIP、 POP3、 NFS。 

5. 开 友 标准 网 络 协议 的 “附加 品 ”， 比 如 HAProxy、squid、varmnish 
等 Web load balancer。 

6. 开 及 标准 或 非 标 准 网 络 服务 的 客户 关 库 ， 比 如 ZooKeeper 客 户 端 
库 、memcached 客 户 疹 库 。 

7. 开发 与 公司 业务 直接 相关 的 网 络 服务 程序 ， 比 如 即时 聊天 软件 
的 后 台 服 务 右 、 网 游 服务 大 、 人 金融 交易 系统 、 互 联网 企业 用 的 分 布 式 海 
量 存储 、 微 博 发 帖 的 内 部 广播 通知 等 等 。 

8. 客户 疾 程 序 中 涉及 网 络 的 部 分 ， 比 如 邮件 客户 疾 中 与 POP3、 


SMTP 通 信和 的 部 分 ， 以 及 网 游 的 客 尸 病程 序 中 与 服务 右 通 信和 的 部 分 。 


本 文 所 指 的 “网 络 编程 ” 专 指 第 7 项 ， 即 在 TCP/IP 协 议 之 上 开 友 业务 
软件 。 换 句 话说 ， 不 是 用 Sockets API 开 发 muduo 这 样 的 网 络 库 ， 而 是 用 
libevent、muduo、Netty、gevent 这 样 现成 的 库 开 发 业务 软件 ，muduo 目 
答 的 十 几 个 示例 程序 是 业务 软件 的 代表 。 


A.1.6 ” 面 癌 业务 的 网 络 编程 的 特 后 
与 退 用 的 网 络 服务 此 不 同 ， 和 面 同 公司 业务 的 专用 网 络 程 序 有 其 目 号 


特点 。 

业务 多 辑 比较 复杂 ， 而 且 时 第 变化 ”如 采写 一 个 HITP 服 务 左 ， 在 
大 致 实现 HITP 1.1 标 准 之 后 ， 程 序 的 主体 功能 一 般 不 会 有 太 大 的 变化 ， 
程序 员 会 把 时 间 放 在 性 能 调 优 和 bug 修 复 上。 而 开发 针对 公司 业务 的 专 
用 程序 时 ， 功 能 说 明 书 (spec) 很 可 能 不 如 HTTP 1.1 标 准 那 么 细致 明 
人 确 。 更 香 要 的 是 ， 程 序 是 快速 演化 的 。 以 即时 聊天 工具 的 后 台 服 务 右 为 
例 ， 可 能 第 一 版 只 文 持 在 线 聊 天 ;， 几 个 月 之 后 发 布 第 二 版 ， 文 持 离 线 消 
轧 :; 义 过 了 几 个 月 ， 第 三 版 文 持 隐 和 里 聊 天; 随后 ， 第 四 版 支持 上 传 头 
像 ， 如 此 等 等 。 这 要 求 程序 员 能 快速 啊 应 新 的 业务 需求 ， 公 司 才能 保持 
苋 争 力 。 由 于 业务 时 党 变化 (假设 每 月 一 次 版 本 升级 ) ， 也 会 降低 服务 
程序 连续 运行 时 间 的 要 求 。 相 反 ， 我 们 要 设计 一 僚 流 程 ， 通 过 轮流 章 局 
服务 器 来 完成 平滑 升级 (8§9.2.2) 。 

不 一 定 需 要 遵循 公认 的 通信 协议 标准 ”比方 说 网 游 服务 旨 就 没 什 
么 协议 标准 ， 反 正 客 户 关 和 服务 册 都 是 本 公司 开发 的 ， 如 果 有 发现 目 前 的 
协议 设计 有 问题 ， 两 边 一 起 改 束 行 了 。 由 于 可 以 目 己 设计 协议 ， 因 此 我 
们 可 以 绕 开 一 些 性 能 难点 ， 人 简化 程序 结构 。 比 方 说 ， 对 于 多 线程 的 服务 
程序 ， 如 有 果 用 短 连 接 TCP 协 议 ， 为 了 优化 性 能 通 钊 要 精心 设计 accept 新 
连接 的 机 制 :， 避 免 惊 群 并 减少 上 下 文 切换 。 但 是 如 果 改 用 长 连接 ， 用 
最 徐 单 的 单线 程 accept 束 行 了 。 

程序 结构 没有 定论 ”对 于 高 并 及 大 大 吐 的 标准 网 络 服务 ， 一 般 采 
用 时 线程 事件 驱动 的 方式 开发 ， 比 如 HAProxy、lighttpd 等 都 是 这 个 模 
式 。 但 是 对 于 专用 的 业务 系统 ， 其 业务 馆 辑 比较 复杂 ， 占 用 较 多 的 CPU 
和 资源， 这 种 单线 程 事 件 驱 动 方式 不 见得 能 友 挥 现在 多 核 处 理 需 的 优势 。 
这 留 给 程序 员 比 较 大 的 目 由 发 挥 空间 ， 做 好 了 “ 模 扫 和 干 诗 ”， 做 烂 了 一 败 
涂 地 。 我 认为 目前 one loop per thread 是 通用 性 较 高 的 一 种 程序 结构 ， 能 
发 挥 多 核 的 优势 ， 见 $3.3 和 86.6。 

性 能 评判 的 标准 不 同 ”如 果 开 发 httpd 这 样 的 通用 服务 ， 必 然 会 和 


开源 的 Nginx、lighttpd 等 融 性 能 服务 磊 比 较 ， 程 序 员 要 投入 相当 的 精力 
去 优化 程序 ， 才 能 在 市 场 上 占有 一 席 之 地 。 而 面 问 业务 的 专用 网 络 程序 
不 一 定 是 IO bound， 也 不 一 定 有 开关 的 实现 以 供 对 比 性 能 ， 优 化 方 回 也 
可 能 人 不同。 程序 员 退 党 更 加 注 章 功能 的 稳定 性 与 开发 的 便捷 性 。 人 性 能 只 
要 一 代 比 一 代 强 即 可 。 

网 络 编程 起 到 支撑 作用 ， 但 不 处 于 主导 地 位 ”程序 员 的 主要 工作 
是 实现 业务 逻 加， 而 不 只 是 实现 网 络 通 信 协 议 。 这 要 求 程 序 员 深入 理解 
业务 。 程 序 的 性 能 瓶 颂 不 一 定 在 网 络 上 ， 瓶 贷 有 可 能 是 CPU、Disk IO、 
数据 库 等 ， 这 时 优化 网 络 方面 的 代码 并 不 能 提高 整体 性 能 。 只 有 对 所 在 
的 领域 有 深入 的 了 解 ， 明 日 各 种 因 系 的 权衡 (trade-off) ， 才 能 做 出 一 
些 有 针对 性 的 优化 。 现 在 的 机 噩 上 ， 人 简单 的 并 发 长 连接 echo 服 务 程序 不 
用 特别 优化 束 做 到 十 多 万 qps， 但 是 如 果 每 个 业务 请 求 需 要 1ms 密 集 计 
算 ， 在 8 核 机 器 上 充其量 能 达到 8000gps， 优 化 IO 不 如 去 优化 业务 计算 
(如 果 投 入 产 出 合算 的 话 ) 。 


A.1.7 几 个 术 话 


互联 网 上 的 很 多 “口水 战 ” 是 由 对 同一 术语 的 不 同 理解 引起 的 ， 比 如 
我 写 的 《多 线程 服务 需 的 适用 场合 》:， 束 曾经 裤 人 说 是 “ 持 笠 头 夹 狗 
肉 ”， 因 为 这 扁 文 章 中 举 的 master 例 子 “ 根 本 融 算 不 上 是 个 网 络 服务 右 。 
因为 它 的 瓶 癸 根本 束 跟 网 络 无 天 。” 

网 络 服务 右 “网 络 服务 硕 ” 这 个 术语 确实 含义 模糊 ， 到 辰 指 便 件 
还 是 软件 ?到 后 是 服务 于 网 络 本 里 的 机 上 砷 《交换 机 、 路 由 右 、 防 火 墙 、 
NAT) ， 还 是 利用 网 络 为 其 他 人 或 程序 提供 服务 的 机 需 〈 打 印 服务 堪 、 
文件 服务 左 、 邮 件 服 务 希 ) ? 每 个 人 根据 目 己 贺 悉 的 领域 ， 可 能 会 有 不 
同 的 解 谈 。 比 方 说 ， 或 许 有 人 认为 只 有 文 持 高 并 友 、 局 吞吐 量 的 才 算 是 
网 络 服务 堪 。 

为 了 避免 无 谓 的 争执 ， 我 只 用 “网 络 服务 程序 ?或 者 “网 络 应 用 程 
序 ” 这 种 合 义 明确 的 术语 。“ 开 发 网 络 服务 程序 ” 通 沿 不 会 造成 误解 。 

客户 闹 ? 服务 闹 ? 在 TCP 网 络 编程 中 ， 客 户 新 和 服务 新 很 容 吻 
区 分 ， 主 动 发 起 连接 的 是 客户 响 ， 补 动 接受 连接 的 是 服务 病 。 当 然 ， 这 
个 “客户 问 ” 本 里 也 可 能 是 个 后 台 服 务 程 序 ，HTTP proxy 对 HTTP server 来 
说 丈 是 个 客户 病 。 

客户 闹 编 程 ? 服务 闪 编 程 ? 但 是 “服务 六 编程 "和 “客户 六 编 
程 ”* 就 不 那么 好 区 分 了 。 比 如 Web crawler， 它 会 主动 发 起 大 量 连接 ， 扮 
演 的 是 HTTP 客 户 咽 的 角色 ， 但 似乎 应 该 归 入 “服务 端 编程 ">。 叉 比如 写 
一 个 HTTP proxy， 它 既 会 扮演 服务 六 被 动 接受 Web browser 发 起 的 





连接 ， 也 会 扮演 客户 六 主动 同 HTTP server 发 起 连接 ， 它 究 苋 算 服 务 
问 还 是 客户 疹 ? 我 猿 大 多 数 人 会 把 它 归 入 服务 并 编程 。 

那么 究竟 如 何 定 义 “ 服 务 闹 编 程 ”? 

服务 闹 编 程 需要 人 处理 大 量 并 发 连接 ? 也 许 是 ， 也 许 不 是 。 比 如 云 风 
在 一 饥 介 绍 网 游 服 务 占 的 博客 :中 或 谈 到 ， 网 游 中 用 到 的 “连接 服务 
全 ”需要 处 理 大 量 连接 ， 而 “逻辑 服务 右 ” 只 有 一 个 外 部 连接 。 那 么 开发 
这 种 网 游 “ 馆 辑 服务 需 ?” 算 服务 病 编 程 还 是 客户 关 编 程 呢 ? 又 比如 机 房 的 
服务 进程 监控 软件 ， 并 发 数 跟 机 需 数 成 正比 ， 至 多 也 束 是 两 三 千 的 并 发 
连接 。“《〈 再 大 规模 束 超 出 本 书 的 范围 了 。 ) 

我 认为 ,，“ 服 务 问 网 络 编程 ” 指 的 是 编写 没有 用 户 界 面 的 长 期 运行 的 
网 络 程序 ， 程 序 默默 地 运行 在 一 侣 服务 需 上 ， 通 过 网 络 与 其 他 程序 打 区 
道 ， 而 不 此 和 人 打交道 。 与 之 对 应 的 是 客户 器 网 络 程序 ， 要 么 是 短 时 间 
运行 ， 比 如 wget; 要 么 是 有 有 用户 界 面 〈 无 论 是 字符 界面 还 是 图 形 界 
面 ) 。 本 文 主要 谈 服 务 端 网 络 编程 。 


A.1.8 7x24 重 要 吗 ， 内 存 侠 片 可 怕 吗 


一 谈 到 服务 并 网 络 编程 ， 有 人 立刻 会 提出 7x24 运 行 的 要 求 。 对 于 菏 
些 网 络 设备 而 言 ， 这 是 合理 的 需求 ， 比 如 1 交换机、 路由器。 对 于 开发 两 
业 系 统 ， 我 认为 要 求 程序 7x24 运 行 通 常 是 系统 设计 上 考虑 不 周 。 具 体 见 
本 书 89.2“ 分 布 式 系统 的 可 靠 性 浅说 ”"。 重 要 的 不 是 7x24， 而 是 在 程序 不 
必 做 到 7x24 的 情况 下 也 能 达到 是 够 蜗 的 可 用 性 。 一 个 考虑 周到 的 系统 应 
hi 这 样 才 能 在 廉价 的 服务 器 硬件 上 做 到 高 
可 用 性 。 

既然 不 要 求 7x24， 那 么 也 不 必 害 怕 内 存 人 雄 片 ， 理 由 如 下 : 





:64-bit 系 统 的 地 址 空间 足够 大 ， 不 会 出 现役 有 足够 的 连续 空间 这 种 
情况 。 有 没有 谁 能 够 故意 制造 内 存 雁 片 〈 不 是 内 存 泄漏 )》 使 得 服务 程序 
失去 啊 应 ? 

:现在 的 内 存 分 配 右 (malloc 及 其 第 三 方 实现 ) 今 非 音 比 ， 除 了 
memcached 这 种 纯 以 内 存 为 喜 点 的 程序 需要 目 己 设计 分 配 需 之 外 ， 其 他 
网 络 程序 大 可 使 用 系统 自 带 的 malloc 或 者 某 个 第 三 方 实现 。 重 新 发 明 
memory pool 似 乎 已 经 不 流行 了 (812.2.8) 。 

:Linux Kernel 也 大 量 用 到 了 动态 内 存 分 配 。 既 然 操 作 系 统 内 核 都 不 
怕 动 态 分 配 内 存 造 成 肆 厂 ， 应 用 程序 为 什么 要 害怕 ? 应 用 程序 的 可 徘 性 
只 要 不 低 于 便 件 和 操作 系统 的 可 苇 性 束 行 。 普 通 PC 服 务 需 的 年 故障 率 
约 为 3% 一 5%， 算 一 算 你 的 服务 程序 一 年 要 被 意外 重 司 多 少 次 。 


内 存 雄 片 如 何 度 量 ? 有 没有 什么 工具 能 为 当前 进程 的 内 存储 户 状 
况 评 个 分 ”如 末 不 能 比较 两 种 方案 的 内 存 碎片 程度 ， 谈 何 优化 ”? 


有 人 为 了 避免 内 存 碎 片 ， 不 使 用 STL 容 器 ， 也 不 敢 new/delete， 这 算 


是 premature optimization 还 是 因 嘻 上 废 食 呢 ? 
A.1.9 协议 设计 是 网 络 编程 的 核心 


对 于 专用 的 业务 系统 ， 协 议 设 计 是 核心 任务 ， 决 定 了 系统 的 开发 难 
度 与 可 靠 性 ， 但 是 这 个 领域 还 没有 形成 大 家 公认 的 设计 流程 。 

系统 中 哪个 程序 发 起 连接 ， 哪 个 程序 接受 连接 ? 如 果 写 标准 的 网 络 
服务 ， 那 么 这 不 是 问题 ， 按 RFC 来 就 行 了 。 上 自己 设计 业务 系统 ， 有 没有 
章法 可 循 ? 以 网 游 为 例 ， 到 后 是 连接 服务 妖 主 动 连接 人 逻辑 服务 器 ， 还 是 
逻辑 服务 器 主动 连接 “连接 服务 器 ”? 似乎 没有 定论 ， 两 种 做 法 都 行 。 一 
般 可 以 按照 “依赖 -被 依赖 * 的 关系 来 设计 发 起 连接 的 方 问 。 

比 新 建 连接 难 的 是 关闭 连接 。 在 传统 的 网 络 服务 中 《特别 是 短 连 接 
服务 )， 不 少 是 服务 新 主动 关闭 连接 ， 比 如 daytime、HTTP 1.0。 也 有 
少 部 分 是 客户 并 主动 关闭 连接 ， 通 和 党 是 些 长 连接 服务 ， 比 如 echo、 
chargen 和 等。 我 们 日 己 的 业务 系统 该 如 何 设计 连接 关闭 协议 呢 ? 

服务 端 主动 关闭 连接 的 缺点 之 一 是 会 多 占用 服务 器 资源 。 服 务 端 主 
动 关闭 连接 之 后 会 进入 TIME WAIT 状态 ， 在 一 段 时 间 之 内 持 有 
(hold) 一 些 内 核资 源 。 如 果 并 发 访问 量 很 品 ， 束 会 影 啊 服务 新 的 处 理 
能 力 。 这 似乎 暗示 我 们 应 该 把 协议 设计 为 客户 端 主动 关闭 ， 让 
TIME_WAIT 状 态 分 散 到 多 台 客 户 机 器 上 ， 化 整 为 零 。 

这 又 有 另外 的 问题 : 客户 端 赖 着 不 走 怎 么 办 ? 会 不 会 造成 拒绝 服务 
攻击 ? 或 许 有 一 个 二 者 结合 的 方案 : 客户 端 在 收 到 啊 应 之 后 就 应 该 主动 
关闭 ， 这 样 把 TIME_WAIT 留 在 客户 只 (S)。 服 务 端 有 一 个 定时 大 ， 如 果 
客户 端 徊 干 秒 之 内 没有 主动 断 开 ， 就 踊 挥 它 。 这 样 善意 的 客户 端 会 把 
TIME_WAIT 留 给 自己 ，buggy 的 客户 问 会 把 TIME_WAIT 留 给 服务 病 。 
或 者 干脆 使 用 长 连接 协议 ， 这 样 可 避免 频 索 创建 、 销 毁 连 接 。 

比 连接 的 建立 与 断 开 更 重要 的 是 设计 消息 协议 。 消 息 格 式 很 好 办 ， 
XMIL、JSON、Protobuf 都 是 很 好 的 选择 ， 难 的 是 消 居 内 容 。 一 个 消 恩 应 
该 包 售 哪些 内 容 ? 多 个 程序 相互 通信 如 何 避 人 免 race condition? 〈( 见 此 处 
举 的 例子 ) 外 部 事件 发 和 后 时 ， 网 络 消息 应 该 发 Snapshot 还 是 delta? 新 增 
功能 时 ， 各 个 组 件 如 何平 滑 升 级 ? 

可 惜 这 方面 可 供 参 考 的 例子 不 多 ， 也 没有 太 多 通用 的 指导 原则 ， 我 
知道 的 只 有 30 年 前 提出 的 end-to-end principle 和 happens-before 


relationship。 只 能 从 实践 中 慢 慢 积 系 了 。 
A.1.10 ”网 络 编程 的 三 个 层次 


侯 捷 先生 在 《漫谈 程序 员 与 编程 》: 中 讲 到 STL 运 用 的 三 个 档 
次 : “会 用 STL， 是 一 种 档次 。 对 STL 原理 有 所 了 解 ， 又 是 一 个 档次 。 追 
踩 过 STL 源 码 ， 又 是 一 个 档次 。 第 三 种 档次 的 人 用 起 STL 来 ， 虎 虎 生 风 
之 势 绝 非 第 一 档次 的 人 能 够 望 其 项 背 。” 

我 认为 网 络 编程 也 可 以 分 为 三 个 层次 : 


1. 该 过 教程 和 文档 ， 做 过 练习 ; 
2. 就 悉 本 系统 TCP/IP 协 议 栈 的 脾气 ; 
3， 目 己 与 过 一 个 简单 的 TCP/IP stack。 


第 一 个 层次 是 基本 要 求 ， 读 过 《UNIX 网 络 编程 》 这 样 的 编程 教 
材 ， 读 过 《TCP/IP 详 解 》 并 基本 理解 TCP/IP 协 议 ， 读 过 本 系统 的 
manpage。 在 这 个 层次 ， 可 以 编 与 一 些 基 本 的 网 络 程序 ， 完 成 单 见 的 任 
务 。 但 网 络 编程 不 是 照 狂 男 谋 这 么 简单 ， 和 在 是 按照 manpage 的 功能 摘 述 
就 能 编写 产品 级 的 网 络 程序 ， 那 人 生 就 太 幸 福 了 。 

第 二 个 层次 ， 熟 悉 本 系统 的 TCP/PP 协 议 栈 参 数 设置 与 优化 是 开发 高 
性 能 网 络 程序 的 必 备 条 件 。 撞 透 协议 栈 的 脾气 ， 还 能 解决 工作 中 遇 到 的 
比较 复杂 的 网 络 问 题 。 拿 Linux 的 TCP/IP 协 议 栈 来 说 : 


1. 有 可 能 出 现 TCP 目 连接 (self-connection):， 程 序 应 该 有 所 准 


2. Linux 的 内 核 会 有 bug， 比 如 某 种 TCP 拥 罕 控 制 算 法 曾经 出 现 TCP 
window clamping 《窗口 篆 位 ) bug， 叶 人 狼 否 吐 量 暴跌 ， 可 以 选用 其 他 拥 
替 控 制 算法 来 绕 开 (work around) 这 个 问题 。 


这 些 “ 阴 上 晓 角 洛 ? 在 manpage 里 没有 摘 述 ， 要 通过 其 他 渠道 了 解 。 

编写 可 靠 的 网 络 程序 的 关键 是 熟悉 各 种 场景 下 的 error code〈 文 件 摘 
述 符 用 完了 如 何 ? 本 地 ephemeral port 和 暂时 用 完 ， 不 能 发 起 新 连接 怎么 
办 ?服务 端 新 建 并 发 连接 太 快 ，backlog 用 完了 ， 客 户 端 connect 会 返回 
什么 错误 ?) ， 有 的 在 manpage 里 有 摘 述 ， 有 的 要 通过 实践 或 疯 恋 源码 
获得 。 

第 三 个 层次 ， 通 过 目 己 与 一 个 和 窗 单 的 TCP/AP 协 议 栈 ， 能 大 大 加 深 对 
TCP/AP 的 理解 ， 更 能 明日 TCP 为 什么 要 这 么 说 计 ， 有 哪些 因素 制约 ， 


一 步 操作 的 代价 是 什么 ， 写 起 网 络 程序 来 更 是 成 体 在 胸 。 

其 实 实 现 TCP/P 只 需要 操作 系统 提供 三 个 接口 函数 : 一 个 函数 ， 两 
个 回调 函数 。 分 别 是 : send_packet()、on_receive_packet()、on_timer()。 
多 年 前 有 一 篇 文章 《使 用 libnet 与 libpcap 构 造 TCP/IP 协 议 软 件 》 介 绍 了 
在 用 户 态 实现 TCP/IP 的 方法 。1lwIP 也 是 很 好 的 借鉴 对 象 。 

如 果 有 了 时间， 我 打 息 自己 写 一 个 Mini/Tiny/Toy/Trivial/Yet-Another 
TCP/IP。 我 准备 换 一 个 思路 ， 用 TUN/TAP 设 备 在 用 户 态 实现 一 个 能 与 
本 机 点 对 点 通信 的 TCP/IP 协 议 栈 〈( 见 本 书 附 录 D) ， 这 样 那 三 个 接口 函 
数 束 表现 为 我 最 熟悉 的 文件 读 写 。 在 用 户 态 实现 的 好 处 是 便于 调试 ， 协 
议 栈 做 成 静态 库 ， 与 应 用 程序 链接 到 一 起 〈 库 的 接口 不 必 是 标准 的 
Sockets API) 。 写 完 这 一 版 协议 栈 ， 还 可 以 继续 友 挥 ， 用 FTDI 的 USB- 
SPI 接 口 心 睛 连接 ENC28J60 适 配器 ， 做 一 个 真正 独立 于 操作 系统 的 
TCP/IP stack。 如 果 只 实现 最 基本 的 了 P、ICMP Echo、TCP， 代 码 应 能 控 
制 在 3000 行 以 内 ;也 可 以 实现 UDP， 如 果 应 用 程序 需要 用 到 DNS 的 话 。 


A.1.11 最 主要 的 三 个 例子 


我 认为 TCP 网 络 编程 有 三 个 例子 最 但 得 学 习 研 究 ， 分 别 是 echo、 
chat、Pproxy， 都 是 长 连接 协议 。 

echo 的 作用 : 融 悉 服务 病 补 动 接 受 狐 连接 、 收 友 数 据 、 人 启动 处 理 连 
接 断 开 。 每 个 连接 是 独立 服务 的 ， 连 接 之 间 没 有 关联 。 在 消息 内 容 方面 
echo 有 一 些 变 种 : 比如 做 成 一 问 一 答 的 方式 ， 收 到 的 请 求 和 及 送 啊 应 的 
内 容 不 一 样 ， 这 时 候 要 考虑 打包 与 拆 包 格 陈 的 议 计 ， 进 一 步 还 可 以 与 简 
单 的 HITP 服 务 。 

chat 的 作用 : 连接 之 间 的 数据 有 交流 ， 从 a 收 到 的 数据 要 及 给 bD。 这 
样 对 连接 管理 提出 了 更 高 的 要 求 : 如 何 用 一 个 程序 同时 处 理 多 个 连接 ? 
forkO-per-connection 似 乎 是 不 行 的 。 如 何 防 止 串 话 ? b 有 可 能 随时 汤 开 连 
接 ， 而 新 建立 的 连接 c 可 能 恰好 复 用 了 b 的 文件 摘 述 符 ， 那 么 a 会 不 会 钳 
误 地 把 消息 用 给 c? 

proxy 的 作用 : 连接 的 管理 更 加 复杂 : 既 要 被 动 接 受 连 接 ， 也 要 主 
动 发 起 连接 ， 既 要 主动 关闭 连接 ， 也 要 被 动 关 闭 连 接 。 还 要 考虑 两 边 速 
度 不 匹配 〈87.13) 。 

这 三 个 例子 功能 简单 ， 突 出 了 TCP 网 络 编程 中 的 重点 问题 ， 挨 着 做 
一 授 基本 就 能 达到 层次 一 的 要 求 。 


A.1.12 ”学习 Sockets API 的 利器 : IPython 


我 在 编写 muduo 网 络 库 的 时 候 ， 写 了 一 个 命令 行 交 互 式 的 调试 工具 
， 方 便 试验 各 个 Sockets API 的 返回 时 机 和 返回 值 。 后 来 发 现 其 实 可 以 用 
IPython 达 到 相同 的 效 未 ， 不 必 目 己 编 和 枉 。 用 交互 式 工具 很 快 束 能 措 消 各 
种 IO 事件 的 发 生 条 件 ， 比 反复 编译 C 代 码 高 效 得 多 。 比 方 说 想 简单 试验 
一 下 TCP 服 务 器 和 epoll， 可 以 这 么 写 : 
$ ipython 
In [1]: import socket, select 
In [2]: ss = socket.socket(socket.AF_INET, socket.SOCK_STREAMY 
In [3]: s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
In [4]: s.bind((C'’, 56006)) 
In [5]: s.listen(s) 
In [6]: client, address = 5S,.acceptty # client.fileno() == 4 


In [7]: client.recv(1824) # 此 处 会 阻塞 
Dut[L7]j: ‘Hello\n’ 


In [8]: epoll = select.epoll(l) 
In [9]: epoll.register(lclient.fileno()，select,EPOLLIN) # 试 试 省 略 第 二 个 和 参数 


In [10]: epoll.poll(60) # 此 处 会 阻 占 
Qut[16]: [C4, 1)] # 表示 第 4 号 文件 可 读 (select.EPOLLIN == 1) 


In [11]: client.recv(18624) # 已 经 有 数据 可 读 ， 不 会 阻塞 了 
Qut[11]: ‘World\n’ 


In [12]: client.setblocking(8) # 改 为 非 阻 塞 方式 
In [13]: client.recv(10624) # 设 有 数据 可 读 ， 立 刻 返 回 ， 钳 误 码 EAGAIN == 11 
error: LErrno 11]j Resource temporarily unavailable 


In [14]: epol1.pol1(60) # epoll_wait(y) 一 下 
OutL14]: [4，1)j 


In [15]: client.recv(1024) # 冉 去 读数 据 ， 立 刻 返 回 结果 
Qut[15]: “ByelAn- 


In [16]: client.ClLoser ) 

同时 在 另 一 个 命令 行 窗 口 用 nc 及 送 数 握 : 
$ nc localhost 5000 
Hello <enter> 


World <enter> 
Byel <enter> 


在 编写 muduo 的 时 候 ， 我 一 般 会 开 四 个 命令 行 窗 口 ， 其 一 看 log， 其 
二 看 strace， 其 三 用 netcat/tempest/ipython 充 作 通 信 对 方 ， 其 四 看 


tcpdump。 人 各 个 工具 的 输出 相互 验证 ， 很 快 束 近 清 了 门道 。muduo 古 一 

个 基于 Reactor 模 式 的 Linux C++ 网 络 库 ， 采 用 非 阻 塞 1O， 支 持 高 并 发 和 
多 线程 ， 核 心 代 码 量 不 大 〈4000 多 行 ) ， 示 例 丰 富 ， 可 供 网 络 编程 的 学 
习 者 参考 。 


A.1.13 TCP 的 可 徘 性 有 多 高 


TCP 是 “ 面 同 连 接 的 、 可 徘 的 、 了 平市 流传 输 协 议 "， 这 里 的 “可 徘 ” 完 
葛 是 什么 意思 ? 《Effective TCP/IP Programming》 第 9 条 说 : “Realize 
That TCP Is a Reliable Protocol Not an Infallible Protocol”， 那 么 TCP 在 哪 
种 情况 下 会 出 错 ? 这 里 说 的 “出 错 ” 指 的 是 收 到 的 数据 与 发 送 的 数据 不 一 
致 ， 而 不 是 数据 不 可 达 。 

我 在 87.5“ 一 种 目 动 反射 消息 类 型 的 Google Protobuf 网 络 传输 方 
案 ” 中 议 计 了 珊 check sum 的 消息 格式 ， 很 多 人 表示 不 理解 ， 认 为 是 多 余 
的 。IP header 中 有 check sum，TCP header 也 有 check sum， 链 路 层 以 太 网 
还 有 CRC32 校 验 ， 那 么 为 什么 还 需要 在 应 用 层 做 校 验 ? 什么 情况 下 TCP 
传送 的 数据 会 出 错 ? 

IP header 和 TCP header 所 jchecksum 是 一 种 非常 弱 的 16-bit check sum 
算法 ， 其 把 数据 当成 反 人 码 表 示 的 16-bit integers， 再 加 到 一 起 。 这 种 
checksum 算 法 能 检 出 一 些 傈 单 的 错误 ， 而 对 茶 些 错误 无 能 为 力 。 由 于 是 
简单 的 加 法 ， 遇 到 “和 〈sum) ”不 变 的 情况 束 无 法 检查 出 错误 (比如 交 
换 两 个 16-bit 整 数 ， 加 法 满足 交换 律 ，checksum 不 变 ) 。 以 太 网 的 
CRC32 只 能 保证 同一 个 网 段 上 的 通信 不 会 出 错 《〈 两 台 机 器 的 网 线 插 到 同 
一 个 交换 机 上 ， 这 时 候 以 太 网 的 CRC 是 有 用 的 ) 。 但 是 ， 如 果 两 台 机 器 
之 间 经 过 了 多 级 路 由 需 呢 ? 

图 A-1 中 client 回 Server 发 了 一 个 TCP segment， 这 个 segment 先 被 封装 
成 一 个 IP packet， 再 被 封装 成 ethernet frame， 发 送 到 路 由 器 (图 A-1 中 的 
消息 a) 。router 收 到 ethernet frameb， 转 发 到 另 一 个 网 段 〈 消 息 c) ， 最 
后 server 收 到 d4， 通 知 应 用 程序 。 以 太 网 CRC 能 保证 a 和 b 相 同 ，c 和 d 相 
同 ; TCP header checksum 的 强 虚 不 足以 体 证 收发 payload 的 内 容 一 样 。 画 
外 ， 如 果 把 router 换 成 NAT， 那 么 NAT 自 己 会 构造 消息 c(〈 蔡 换 掉 源 地 
址 ) ， 这 时 候 a 和 d 的 payload 不 能 用 TCP header checksum 校 验 。 
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跤 由 侨 可 能 出 现 人 硬件 故障 ， 比 方 说 它 的 内 存 故 障 (或 侦 然 错误 ) 导 
仅 收 发 IP 报 文 出 现 多 bit 的 反 转 或 双 字 节 交 的， 这 个 有 反 转 如 果 发 生 在 
payload 区 ， 那 么 无 法 用 链 路 层 、 网 络 层 、 传 输 层 的 check sum 奏 出 来 ， 
只 能 通过 应 用 层 的 check sum 来 检测 。 这 个 现象 在 开发 的 时 候 不 会 过 
到 ， 因 为 开发 用 的 几 台 机 器 很 可 能 都 连 到 同一 个 交换 机 ，ethernet CRC 
能 防止 错误 。 开 发 和 测试 的 时 候 数 据 量 不 大 ， 错 误 很 难 发 生 。 之 后 大 规 
模 部 著 到 生产 环境 ， 网 络 环 境 复 杂 ， 这 时 候 出 个 错 束 让 人 措手不及 。 有 
一 篇 论文 《When the CRC and TCP checksum disagree》 分 析 了 这 个 问 
十。 另外 《The Limitations of the Ethernet CRC and TCP/IP checksums for 
error detection》 2 也 值得 一 读 。 

这 个 情况 真 的 会 发 生 吗 ? 会 的 ，Amazon S3 在 2008 年 7 月 就 遇 到 过 ? 
， 站 bit 反 转 导 致 了 一 次 严重 线 上 事故 ， 所 以 他 们 吸取 教训 加 了 check 
sum。 另 外 见 Google 工 程 师 的 经 验 分 享 2。 

另外 一 个 例证 : 下 载 大 文件 的 时 候 一 般 都 会 附 上 MD5， 这 除了 有 安 
全 方面 的 考虑 《〈 防 目 偶 改 ) ， 也 说 明 应 用 层 应 该 目 己 议 法 校 验 数 据 的 正 
确 性 。 这 是 end-to-end principle 的 一 个 例证 。 


A.2 三 本 必 看 的 书 


谈 到 Unix 编 程 和 网 络 编 程 ，W. Richard Stevens 是 个 绕 不 开 的 人 物 ， 
他 生前 写 了 6 本 书 ， 即 [APUE]、 两 着 《UNIX 了 网络 编 程 》、 三 疮 
《TCP/P 详 解 》。 其 中 四 本 与 网 络 编程 直接 相关 。[UNPv2] 其 实 跟 网 络 
编程 关系 不 大 ， 是 [APUE] 在 多 线程 和 进程 间 通 信 (IPC) 方面 的 补充 。 
很 多 人 把 《TCP/AP 详 解 》 一 二 三 郑 作 为 整体 推荐 ， 其 实 这 三 本 书 的 用 处 


不 同 ， 应 该 区 别 对 每 。 

这 里 谈 到 的 几 本 书 都 没有 超出 南 宕 在 《TCP/IP 网 络 编程 之 四 书 五 
经 》 中 的 推荐 ， 说 明 网 络 编程 这 一 领域 已 经 相对 成 玖 稳定 。 

第 一 本 : 《TCP/IP Ilustrated, Vol. 1: The Protocols》 〈 中 文 名 
《TCP/IP 详 解 》) ， 以 下 简称 TCPv1。 

TCPv1 是 一 本 奇 书 。 这 本 书 迄 今 至 少 被 三 百 多 篇 学 术 论 文 引 用 过 2 
。 一 本 学 术 专 闭 被 论文 引用 算 不 上 出 奇 ， 难 得 的 是 一 本 写 给 程序 员 看 的 
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TCPv1 堪 称 TCP/AP 领 域 的 节 经 。 作 者 W. Richard Stevens 不 是 TCP/IP 
协议 的 发 明 人 ， 他 从 使 用 者 (程序 员 〉 的 角度 ， 以 tcpdump 为 工具 ， 对 
TCP 协 议 抽 丝 剥 昔 、 九 九 道 来 〈 第 17 一 24 章 ) ， 让 人 人 叹服。 恐怕 TCP 协 
议 的 设计 者 也 难以 讲解 得 如 此 出 色 ， 至 少 不 会 像 他 这 么 耐心 细致 地 夯 几 
百 幅 收发 package 的 时 序 图 。 

TCP 作 为 一 个 可 徘 的 传输 层 协议 ， 其 核心 有 三 点 : 


1. Positive acknowledgement with retransmission:; 

2. Flow control using sliding window (包括 Nagle 算 法 等 ): 

3. Congestion control (包括 slow start、congestion avoidance、fast 
retransmit 等 ) 。 


第 一 氮 已 经 足以 满足 “可 菲 性 ”要求 〈 为 什么 ? ) ; 第 二 点 是 为 了 所 
高 吞吐 量 ， 充 分 利用 链 路 层 斋 宽 ; 第 三 点 是 防止 过 载 造 成 丢 包 。 换 襄 
之 ， 第 二 点 是 避免 发 得 太 慢 ， 第 三 点 是 避免 发 得 太 快 ， 二 者 相互 制约 。 
从 反 饥 控制 的 角 虚 看 ，TCP 像 是 一 个 目 适 应 的 币 流 赋 ， 根 据 管 道 的 拥 声 
情况 上 日 动 调整 国门 的 流量 。 

TCP 的 flow control 有 一 个 问题 ， 每 个 TCP connection 是 彼此 独立 
的 ， 保 存 痢 目 己 的 状态 变量 ; 一 个 程序 如 果 同 时 开局 多 个 连接 ， 或 者 操 
作 系 统 中 运行 多 个 网 络 程序 ， 这 些 连接 似乎 不 知道 他 人 的 和 存在， 缺少 对 
网 卡 市 宽 的 统筹 安排 。 《或 许 现代 的 操作 系统 已 经 解决 了 这 个 问题 ? ) 

TCPv1 唯 一 的 不 足 是 它 出 版 得 太 早 了 ，1993 年 至 今 网 络 扩 术 及 展 了 
几 代 。 链 路 层 方面 ， 当 年 主流 的 10Mbit 网 卡 和 集线器 早已 经 被 淘汰 ; 
100Mbit 以 太 网 也 没什么 企业 在 用 了 ， 交 换 机 (switch〉 也 已 经 全 面 取代 
了 集线器 (hub) ; 服务 器 机 房 以 1Gbit 网 络 为 主 ， 有 些 场 合 甚 至 用 上 了 
10Gbit 以 太 网 。 男 外 ， 无 线 网 的 普及 也 让 TCP flow control 面 临 新 挑战 ; 
原来 设计 TCP 的 时 候 ， 人 们 认为 丢 包 通常 是 拥 窗 造成 的 ， 这 时 应 该 放 慢 
用 送 速度 ， 减 轻 拥 考 ; 而 在 无 线 网 中 ， 丢 包 可 能 是 信号 太 弱 造成 的 ， 这 


时 反而 应 该 快速 重 试 ， 以 你 证 性 能 。 网 络 层 方面 变化 不 大 ，IPvV6“ 雷 扬 
大 、 雨 点 小 ”。 传 输 层 方面 ， 由 于 链 路 层 市 宽大 增 ，TCP window scale 
option 被 普 过 使 用 ， 另 外 TCP timestamps option 和 TCP selective ack option 
也 很 弟 用 。 由 于 这 些 因 系 ， 在 现在 的 Linux 机 器 上 运行 trpdump 观 察 TCP 
协议 ， 程 序 输出 会 与 原 书 有 些 不 同 。 

一 个 好 消息 : TCPv1 己 于 2011 年 10 月 推出 第 2 版 ， 经 典 能 否 重 现 ? 

第 二 本 : 《Unix Network Programming, Vol. 1: Networking API》 第 
2 版 或 第 3 版 “这 两 版 的 副标题 各 有 不 同 ， 第 3 版 去 挥 了 XTI)〉 ， 以 下 统称 
UNP。W. Richard Stevens 在 UNP 第 2 版 出 版 之 后 驶 不 竺 去 世 了 ，UNP 第 3 
版 是 由 他 人 续 写 的 。 

UNP 是 Sockets API 的 权威 指南 ， 但 是 网 络 编程 远 不 是 使 用 那 十 几 个 
Sockets API 那 么 简单 ， 作 者 W. Richard Stevens 深 刻 地 认识 到 了 这 一 点 ， 
他 在 UNP 第 2 厂 的 前 言 中 与 道 : * 


I have found when teaching network programming that about 80% of 
all network programming problems have nothing to do with network 
programming , per se. That is, the problems are not with the API functions 
such as accept and select, but the problems arise from a lack of 
understanding of the underlying network protocols. For example, I have 
found that once a student understands TCP's three-way handshake and four- 
packet connection termination, many network programming problems are 
immediately understood. 


搞 网 络 编程 ， 一 定 要 熟悉 TCP/IP 协 议 及 其 外 在 表现 (比如 打开 和 关 
闭 Nagle 算 法 对 收发 包 延 时 的 影响 )》 ， 不 然 出 点 意料 之 外 的 情况 就 措 不 
ee 。 我 不 知道 为 什么 UNP 第 3 版 在 前 言 中 去 反 了 这 上段 至 天 重要 的 
Too 

夯 外 全 得 一 提 的 是 ，UNP 中 文 原 《UNIX 网 络 编程 》 翻 译 得 相当 
好 ， 译 者 杨 继 张 先生 是 真 慌 网络 编 程 的 。 

UNP 很 详细 ， 面 面 俱 到 ，UDP、TCP、IPv4、IPv6 都 讲 到 了 。 要 说 
| 束 古 太 详 细 了 ， 重 点 不 够 突出 。 我 十 分 赞同 击 宪 说 


( 丙 宕 ) 我 主张 ， 在 具备 基础 之 后 ， 学 习 任何 新 东西 ， 都 要 抓 住 主 
线 ， 突 出 重点 。 对 于 关键 理论 的 学 习 ， 了 要 集中 精力 ， 速 成 速 雇 。 而 劳 术 
末节 和 非 本 质 性 的 知识 内 容 ， 完 全 可 以 留 给 实践 去 零 藤 碎 打 。 

原因 是 这 样 的 ， 任 何 一 个 高 级 的 知识 内 容 ， 其 中 都 只 有 一 小 部 分 古 


有 思 息 创新 、 有 重大 影响 的 ， 而 其 他 很 多 东西 都 是 琐 酚 的 、 非 本 质 的 。 
因此 ， 集 中 学 习 时 必须 把 握 住 真 正 重 要 的 那 部 分 ， 把 其 他 东西 留 给 实 
践 。 对 于 重点 知识 ， 只 有 集中 学 习 其 理论 ， 才 能 确保 体系 性 、 连 贯 性 、 
正确 性 ， 而 对 于 那些 笼 校 术 方 ， 只 有 边 干 边 学 才能 够 让 你 了 解 它们 的 真 
实 价 值 是 大 是 小 ， 才 能 让 你 留 下 更 生动 的 印象 。 如 果 你 把 精力 用 错 了 地 
方 ， 比 如 用 集中 大 块 的 时 间 来 学 习 那 些 本 来 只 需要 但 查 手册 束 可 以 明日 
的 小 技巧 ， 而 对 于 真正 重要 的 、 思 想 性 的 东西 放 在 平时 零 歌 俯 打 ， 那 么 
肯 定 是 事倍功半 ， 其 至 适得其反 。 

因此 我 对 于 市 面 上 绝 大 部 分 开发 类 疼 书 都 不 满 它们 基本 上 都 是 
面 回 知识 体系 本 里 的 ， 而 不 是 面 同 读者 的 。 忌 是 把 相关 的 所 有 知识 细节 
都 放 在 一 堆 ， 然 后 一 堆 一 堆 插 起 来 变 成 一 本 书 。 反 映 在 内 容 上 ， 残 是 坚 
无 午 点 地 平 铺 直 人 狼 ， 丰 分 轻重 地 陈述 细节 ， 人 往往 在 第 三 革 以 前 束 用 无 聊 
的 细 市 “谋杀 ”了 读者 的 热情 。 为 什么 当年 侯 捷 先生 的 《深入 涛 出 MFC》 
和 Scott Meyers 的 《Effective C++》 能 够 成 为 经 典 ? 束 在 于 这 两 本 书 抓 住 
了 各 日 领域 中 的 主干 ， 提 纲 吉 领 ， 纲 淮 日 张 ， 一 下 子 打 骨 了 读者 的 “ 任 
督 二 脉 ”。 可 惜 这 样 的 书 太 少 了 ， 束 算是 已 故 的 W. Richard Stevens 和 当 
eles Mer 也 只 是 在 体系 性 和 深入 性 上 高 人 一 头 ， 并 不 是 面 
可 读者 的 书 。 


什么 是 荔枝 未 节 了 呢 ? 拿 以 太 网 来 说 ，CRC32 如 何 计 算 就 是 “ 劳 枝 末 
节 ”。 网络 程序 员 要 明白 check sum 的 作用 ， 知 道 为 什么 需要 check sum， 
至 于 具体 怎么 算 CRC 束 不 需要 程序 员 损 心 了 。 这 部 分 通 利 是 由 网 卡 便 件 
完成 的 ， 在 发 包 的 时 候 由 硬件 填充 CRC， 在 收 包 的 时 候 网 卡 自动 丢弃 
CRC 不 合格 的 包 。 如 果 代 码 中 确实 要 用 到 CRC 计 算 ， 调 用 人 通 用 的 zlib 束 
行 ， 也 不 用 目 己 实现 。 

UNP 就 像 给 了 你 一 堆 做 菜 的 原料 (各 种 Sockets 函 数 的 用 法 ) ， 常 用 
和 不 常用 的 都 给 了 《Out-of-Band Data、Signal-Driven IO 等 等 ) ， 要 车 
读者 目 己 设法 取舍 组 合 ， 做 出 一 盘 大 琳 来 。 在 读 第 一 授 的 时 候 ， 我 建议 
只 读 那 些 基 本 日 重要 的 章节 ; 男 外 那些 次 要 的 内 容 可 略 作 了 解 ， 即 便 跳 
过 不 读 也 无 妨 。UNP 是 一 本 操作 性 很 强 的 书 ， 读 这 本 书 一 定 要 上 机 练 


2 

男 外 ，UNP 誉 的 两 个 例子 〈 采 谱 〉 太 价 早 ，daytime 和 echo 一 个 是 短 
连接 协议 ， 一 个 是 长 连接 无 格式 协议 ， 不 足以 团 着 基本 的 网 络 开 发 场景 
(比如 TCP 封 包 与 拆 包 、 多 连接 之 则 交换 数据 ，。 我 估计 W. Richard 
Stevens 原 打算 在 UNP 第 三 卷 中 讲解 一 些 实际 的 例子 ， 只 可 惜 他 瑞 年 时 
逝 ， 我 等 无 福 阅 读 。 

UNP 是 一 本 偏重 Unix 传 统 的 书 ， 这 本 书写 作 的 时 候 服务 端 还 不 需要 





处 理 成 和 于 上 万 的 连接 ， 也 没有 现在 那么 多 网 络 攻击 。 书 中 重点 介绍 的 以 
acceptO 十 forkO 来 处 理 并 有 连接 的 方式 在 现在 看 来 已 经 有 点 吃力 ， 这 本 
书 的 代码 也 没有 特别 防范 恶意 攻击 。 如 果 工 作 涉 及 这 些 方面 ， 需 要 再 进 
一 步 学 习 专 门 的 知识 〈C10k 问 题 ， 安 全 编程 ) 。 

TCPVv1 和 UNP 应 该 和 完 看 哪 本 ? 见 仁 见 镶 吧 。 我 目 己 是 移 看 的 
TCPv1， 花 了 大 约 两 个 月 时 间 ， 然 后 再 读 UNP 和 APUE。 

第 三 本 : 《Effective TCP/IP Programming 》 

天 于 第 三 本 书 ， 我 犹豫 了 很 久 ， 不 知道 该 推荐 哪 本 。 还 有 哪 本 书 能 
与 W. Richard Stevens 的 这 两 本 比肩 吗 ? W. Richard Stevens 为 技术 书籍 的 
写作 树立 了 难以 通 越 的 标杆 ， 他 是 一 位 伟大 的 技术 作家 。 没 能 看 到 他 写 
完 UNP 第 三 着 实在 是 人 生 的 遗憾 。 

《Effective TCP/IP Programming》 这 本 书 属 于 专家 经 验 总 结 类 ， 初 
看 时 和 党 得 收获 很 大 ， 工 作 一 段 时 间 再 看 也 能 有 新 的 发 现 。 比 如 第 6 
条 “TCP 是 一 个 字 节 流 协 议 "， 看 过 这 一 条 就 不 会 去 研究 所 谓 的 “TCP 精 包 
问题 ?。 我 手头 这 本 中 国电 力 出 版 社 2001 年 的 中 文 版 翻译 尚 可 ， 但 是 却 
把 参考 文献 去 挥 了 ， 正 文中 引用 的 文章 资料 根本 但 不 到 名 字 。 人 民 邮 电 
出 版 社 2011 年 重新 翻译 出 版 的 版 本 有 参考 文献 。 


其 他 值得 一 看 的 书 


以 下 两 本 都 不 易 谈 ， 需 要 相当 的 基础 。 

《TCP/IP Illustrated, Vol. 2: The Implementation》， 以 下 简称 
TCPvV2。 

1200 页 的 大 部 头 ， 详 细 讲 解 了 4.4BSD 的 完整 TCP/P 协 议 栈 ， 注 释 了 
15000 行 C 源 码 。 这 本 书 踢 下 来 不 容易 ， 如 果 时 间 不 充裕 ， 我 认为 没 必 要 
哺 完 ， 应 用 层 的 网 络 程序 员 选 其 中 与 工作 相关 的 部 分 来 疯 谈 即 可 。 

这 本 书 的 第 一 作者 是 Gary Wright， 从 叙述 风格 和 内 容 组 织 上 是 典型 
的 “面向 知识 体系 本 身 ”， 先 讲 mbuf， 再 从 链 路 层 一 路 往 上 ， 以 大 网、 了 
网 络 层 、ICMP、IP 多 播 、IGMP、IP 路 由 、 多 播 路 由 、Sockets 系 统 调 
用 、ARP 等 等 。 到 了 正文 内 容 3/4 的 地 方才 开始 讲 TCP。 面 面 俱 到 、 主 次 
不 明 。 

对 于 主要 使 用 TCP 的 程序 员 ， 我 认为 TCPv2 的 一 大 半 内 容 可 以 跳 过 
不 看 ， 比 如 路 由 表 、IGMP 等 等 〈 开 发 网 络 设备 的 人 可 能 更 关心 这 些 内 
容 ) 。 在 工作 中 大 可 以 把 IP 视 为 host-to-host 的 协议 ， 把 “IP packet 如 何 送 
达 对 方 机 妖 ” 的 细节 视 为 黑 例 子 ， 这 不 会 影 啊 对 TCP 的 理解 和 运用 ， 
为 网 络 协议 是 分 层 的 。 这 样 精 伽 下 来 ， 需 要 看 的 只 有 三 四 百 页 ， 四 五 干 
行 代 码 ， 大 大 减轻 了 陪读 的 负担 。 


这 本 书 直 接 呈 现 高 质量 的 工业 级 操作 系统 源码 ， 读 起 来 有 难度 ， 读 
展 它 其 至 要 有 “不 a ”。 其 一 ， 代 码 只 能 看 ， 不 能 上 机 运行 ， 
也 不 能 改动 试验 。 其 二 ， 与 操作 系统 的 其 他 部 分 紧密 关联 。 比 如 TCP/IP 
We 软 中 断 ; 上 承 inode 转 发 来 的 系统 调用 操作 ;中间 

要 与 平 级 的 进程 文件 描述 符 管 理子 系统 打交道 。 如 果 要 把 每 一 部 分 都 
守 清 类 把 持 不 住 就 会 迷失 主题 。 其 三 ， 一 些 历史 包 裕 让 代码 变 得 复杂 
阶 次 。 比 如 BSD 在 20 世 纪 80 年 代 初 需要 在 只 有 4MiB 内 存 的 VAX 小 型 机 
上 实现 TCP/ITP， 内 存 方面 捉襟见肘 ， 这 才 发 明了 mbuf 结 构 ， 代 码 也 增加 
了 不 少 便 发 复杂 度 (buffer 不 连续 的 处 理 ) 。 

读 这 套 TCP/IP 书 切忌 胶 柱 鼓 瑟 ， 这 套 书 以 4.4BSD 为 讲解 对 象 ， 其 摘 
述 的 行为 《特别 是 与 tmer 相 关 的 行为 ) 与 现在 的 Linux TCP/IP 有 个 小 的 
出 入 ， 用 书本 上 的 知识 直接 套用 到 生产 环境 的 Linux 系 统 可 能 会 造成 不 
小 的 误解 和 困扰 。 〈(《TCP/P 详 解 〈 第 3 卷 ) 》 不 重要 ， 可 以 成 套 买 来 
收藏 ， 不 读 亦 可 。 ) 


. 《Pattern-Oriented Software Architecture Volume 2: Patterns for 
Concurrent and Networked Objects》， 以 下 人 简称 POSA2。 


这 本 书 总 结 了 开 及 并 有 网 络 服 务 程序 的 模式 ， 是 对 UNP 很 好 的 补 
充 。UNP 中 的 代码 往往 把 业务 逻辑 和 Sockets API 调 用 混在 一 起 ， 代 码 固 
然 短 小 精怪 ， 但 是 这 种 编码 风格 您 怕 不 适合 开 友 大 型 的 网 络 程 订 。 
POSA2 强 调 模 块 化 ， 网 络 通 信 交 给 library/framework 去 做 ， 程 序 员 写 代 
人 码 只 关注 业务 逻辑 (这 是 非 第 午 要 的 思想 ) 。 赔 读 这 本 书 对 于 深入 理解 
第 用 的 event-driven 网 络 库 (libevent、Java Netty、 Java Mina、 Perl 
POE、Python Twisted 等 等 ) 也 很 有 帮助 ， 因 为 这 些 库 都 是 依照 这 本 书 的 
思想 编 与 的 。 

POSA2 的 代码 是 示意 性 的 ， 思 想 很 好 ， 细 币 不 佳 。 其 C++ 代 但 没有 
充分 考虑 资源 的 自动 化 管理 (RAII) ， 如 果 直 接 按照 书 中 介绍 的 方式 去 
实现 网 络 库 ， 那 么 会 给 使 用 者 造成 不 小 的 负担 与 陷阱 。 换 言 之 ， 照 他 说 
的 做 ， 而 不 是 照 他 做 的 学 。 


注释 
1 http://enwikipedia.org/Wiki/Usage_share_of_operating_systems 


2 ”必要 时 其 至 要 修改 Linux 内 核 ( 
http://linux.dell.com/files/presentations/Linux Plumbers Conf 2010/Scaling techniques for servers with high connection%20rates.pdf 
jn 


ttp://blog.csdn.net/solstice/article/details/5334243 ， 收 入 本 书 第 3 章 。 
ttp://blog.codingnow.com/2006/04/locp kqueue epoll.html 


me 


2 
4 


5 http://stackoverflow.com/questions/3/ 7/045//what-is-memory-fragmentation 

6 http://stackoverflow.com/questions/608/1/how-to-solve-memory-fragmentation 
7 http://jhou.boolan.com/programmer->-talk.htm 

8 ” 见 88.11 和 《学 之 者 生 ， 用 之 者 死 一 一 ACE 历 史 与 简 评 》 举 的 三 个 硬 伤 
http://blog.csdn.net/solstice/article/detalls/5364096 ) 。 

9 http://blog.csdn.net/Solstice/article/detalls/349/814 
http://noahdavids.org/self published/CRC and checksum.html 
http://status.aws.amazon.com/s3-20080720.html 
http://www.ukuug.org/events/spring2007/programme/ThatCouldntHappenloUs.pdf 第 14 页 起 。 
http://portal.acm.org/citation.ctm?id=161724 
http://www.kohala.com/start/preface.unpv12e.html 
http://blog.csdn.net/myan/archive/2010/09/11/38/7305.aspx 
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附录 B 从 《C++ Primer (第 4 厂 ) 》 入 手 学 习 


C++ 


这 是 我 为 《C++ Primer (第 4 版 ) (评注 版 )》 写 的 序言 ， 文 中 “本 
书 ” 指 的 是 这 本 评注 版 《脚注 34 除 外 ) 。 


B.1 为 什么 要 学 习 C++ 


2009 年 本 书 作 者 Stanley Lippman 移 生 应 邀 来 华 参 加 上 海 视 成 科技 举 
办 的 C++ 技术 大 会 ， 他 表示 人 们 现在 还 用 C++ 的 唯一 理由 是 其 性 能 。 相 
比 之 下 ，Java、C#、Python 等 语言 更 加 易学 易 用 并 且 开 有 友 工 具 丰 吾 ， 它 
们 的 开发 效率 都 融 于 C++。 但 C+t+ 目 前 仍然 是 运行 最 快 的 语言 !， 如 果 你 
的 应 用 领域 确实 在 乎 这 个 性 能 ， 那 么 C++ 是 不 二 之 选 。 

这 里 略 举 几 个 例子 :。 对 于 手持 设备 而 言 ， 提 高 运行 效率 意味 痢 完 
成 相同 的 任务 需要 更 少 的 电能 ， 从 而 延长 设备 的 操作 时 间 ， 增 强 用 户 体 
验 。 对 于 租 入 去 3 议 备 而 言 ， 提 高 运行 效率 意味 着 : 实现 相同 的 功能 6 
以 选用 较 低 档 的 处 理 闫 和 较 少 的 存储 左 ， 降 低 单 个 设备 的 成 本 ;如 有 果 议 
备 销量 大 到 一 定 的 规模 ， 可 以 弥补 C++ 开发 的 成 本 。 对 于 分 布 式 系统 而 
言 ， 提 高 10% 的 性 能 就 意味 着 节约 10% 的 机 器 和 能 源 。 如 果 系 统 大 到 一 
定 的 规模 《〈 数 千 台 服务 项 ) ， 值 得 用 程序 员 的 时 间 去 换取 机 器 的 时 间 和 
数量 ， 可 以 降低 总 体 成 本 。 另 外 ， 对 于 条 些 延迟 敏感 的 应 用 《游戏 4 
金融 交易 ) ， 通 第 不 能 容 妨 垃圾 收集 (GC) 市 来 的 不 确定 延 时 ， 而 
C++ 可 以 目 动 并 精确 地 控制 对 象 销 毁 和 内 存 释 放 时 机 :。 我 曾经 不 止 一 次 
见 到 ， 出 于 性 能 (特别 是 及 时 性 方面 的 ) 原因 ， 用 C++ 重 与 现 有 的 Java 
或 C# 程 序 。 

C++ 之 父 Bjarne Stroustrup 把 C++ 定 位 于 偏重 系统 编程 (system 
programming) :的 通用 程序 设计 语言 ， 开 发 信息 基础 染 构 
(Cinfrastructure) 古 C++ 的 重要 用 途 之 一 :。Herb Sutter 总 结 道 :，C++ 注 
重 运 行 效 率 《efficiency) 、 灵 活性 (flexibility) :和 抽象 能 
Cabstraction) ， 并 为 此 付出 了 生产 力 〈productivity) 方面 的 代价 2&。 用 
本 书 作 者 的 话 来 说 ， 就 是 “C++ is about efficient programming with 
abstractions”(C+t+ 的 核心 价值 在 于 能 写 出 “运行 效率 不 打折 扣 的 抽象 ”) 


”要 想 发 挥 C++ 的 性 能 优势 ， 程 序 员 需 要 对 语言 本 身 及 各 种 操作 的 代 


价 有 深入 的 了 解 2， 特 列 要 避 狗 不 必要 的 对 象 创 建 ?。 例 如 下 面 这 个 函数 
如 采 漏 与 了 &， 马 能 还 是 正确 的 ， 但 性 能 将 会 大 打折 扣 。 编 详 医 和 单元 
训 试 部 无 法 帮 我 们 合 出 此 类 和 错误， 程序 员 目 己 在 编码 时 须 得 小 心 在 意 。 


inline int find_longest(const std::vector<std: :string>& words) 


/i std: :max_element(words.begin(), words.end(}Y, LengthCcompare()):; 

了 

在 现代 CPU 体 系 结构 下 ，C++ 的 性 能 优势 很 大 程度 上 得 益 于 对 内 存 
布局 (memory layout) 的 精确 控制 ， 从 而 优化 内 存 访问 的 局 部 性 
(locality of reference) 并 充分 利用 内 存 阶 屋 (memory hierarchy)〉 所 速 # 
。 可 参考 Scott Meyers 的 讲义 《CPU Caches and Why You Care》、Herb 
Sutter 的 讲义 《Machine Architecture》* 和 任何 一 本 现代 的 计算 机 体系 结 
构 教 材 ( 《计算 机 体系 结构 :量化 研究 方法 》、《 计 算 机 组 成 与 设计 : 
便 件 / 软件 接口 》、《 深 入 理解 计算 机 系统 》 罕 ) 。 这 一 扣 优 势 在 近期 
内 不 会 被 基于 GC 的 语言 赶 上 2z。 

C++ 的 协作 性 不 如 C、Java、Python， 开 源 项 目 也 比 这 几 个 语言 少 得 
多 ， 因 此 在 TIOBE 语 言 流 行 榜 中 市 节 下 消 。 但 是 据 我 所 知 ， 很 多 企业 内 
部 使 用 C++ 来 构建 自己 的 分 布 式 系统 基础 架构 ， 并 且 有 蔡 换 Java 开 源 实 
现 的 趋势 。 


B.2 学 习 C++ 只 需要 读 一 本 大 部 头 


C++ 不 是 特性 〈features) 最 丰富 的 语言 ， 却 是 最 复 林 的 语言 ， 诸 多 
语言 特性 相互 和 干扰， 使 其 复杂 度 成 倍增 加 。 鉴 于 其 学 习 难 度 和 知识 点 之 
则 的 天 联 性 ， 敬 怕 不 能 用 “ 粗 粗 看 看 语法 ， 环 措 起 袖子 开 干 ， 边 伍 
Google 边 和 学习” 这 种 方式 来 学 习 C++， 那 样 很 容易 抒 到 陷阱 里 或 着 成 坏 
的 编程 习惯 。 如 果 想 成 为 专业 C++ 开 友 者 ， 全 面 而 深入 地 了 解 这 门 复兴 
语言 及 其 标准 库 ， 你 需要 一 本 系统 而 权威 2 的 书 ， 这 样 的 书 必 定 会 是 一 
本 八 九 折 页 的 大 部 头 2。 

阅 具 系统 性 和 权威 性 的 C++ 教 材 有 了 两 本 ，C++ 之 父 Bjarne Stroustrup 
的 代表 作 《The C++ Programming Language》 和 Stanley Lippman 的 这 本 
《C++ Primer》 。 候 捷 爷 生 评 价 道 : “泰山 北斗 已 现 ， 又 何必 肤 夸 区 形 
于 生 潮 书 海 之 中 ! 这 两 本 书 都 从 C++ 盘古 开 天 以 来 ， 一 路 改 戊 ， 斩 将 擎 
旗 ， 扎 奔 逐 北 ， 成 贺 一 生 床 沦 。22” 

从 实用 的 角度 ， 这 两 本 书 读 一 本 即 可 ， 因 为 它们 有 履 盖 的 C++ 知识 点 
相 才 无 几 。 束 我 个 人 的 阅读 体验 而 言 ，Primer 更 易 读 一 些 ， 我 10 年 前 深 


入 学 习 C++ 正 是 用 的 《C++ Primer 〈 第 3 版 ) 》。 这 次 借 评 注 的 机 会 仔细 
阅读 了 《C++ Primer (第 4 版 ，》， 感 觉 像 在 读 一 本 完全 不 同 的 新 书 。 
第 4 版 内 容 组 织 及 文字 表达 比 第 3 版 进步 很 多 2， 第 3 版 可 谓 “ 事 无 巨细 、 
面面俱到 ”， 第 4 厂 则 重点 突出 、 详 略 得 当 ， 甚 至 坑 幅 也 缩短 了 ， 这 多 半 
归功 于 新 加 盟 的 作者 Barbara Moo。 


《C++ Primer (第 4 版 〉》 讲 什么 ?适合 谁 试 ? 


这 是 一 本 C++ 语 言 的 教程 ， 不 是 编程 教程 。 本 书 不 讲 八 时 后 问题 、 
Huffman 编 码 、 汉 诡 塔 、 约 瑟 夫 环 、 大 整数 运算 等 经 典 编程 例题 ， 本 书 
的 例子 和 习题 往往 都 跟 C++ 本 里 直接 相关 。 本 书 的 主要 内 容 是 精 解 
C++ 语 法 (syntax) 与 语意 (semantics) ， 并 介绍 C++ 标准 库 的 大 部 分 内 
(会 STL1 。“ 这 本 书 在 全 世界 C++ 教学 领域 时 突出 和 重要 ， 已 经 无 顷 

人 计生 

本 书 适合 C++ 语 言 的 切 学 者 ， 但 不 适合 编程 切 学 者 。 换 言 之 ， 这 本 
书 可 以 是 你 的 第 一 本 C++ 书 ， 但 娩 避 不 能 作为 第 一 本 编程 书 。 如 果 你 不 
知道 什么 是 变量 、 赋 值 、 分 文 、 和 条件、 循环、 函数 ， 你 需要 一 本 更 加 初 
级 的 书 *， 本 书 第 1 半 可 用 做 目测 题 。 

如 果 你 已 经 学 过 一 门 编程 语言 ， 并 且 打 算 成 为 专业 C++ 开 有 者， 从 
《C++ Primer 〈 第 4 厂 ) 》 入 手 不 会 让 你 走 杰 路 。 值 得 特别 说 明 的 是 ， 
尝 习 本 书 不 需要 事先 具备 C 语 言 知识 。 相 反 ， 这 本 书 教 你 编写 真正 的 
C++ 程序 ， 而 不 是 氢 痢 C++ 外 衣 的 C 程 序 。 

《C++ Primer 〈 第 4 厂 ) 》 的 定位 是 语言 教材 ， 不 是 语言 规格 书 ， 
它 并 没有 面面俱到 地 谈 到 C++ 的 每 一 个 角 洲 ， 而 是 重点 讲解 C++ 程序 员 
日 第 工作 中 真正 有 用 的 、 必 须 掌 握 的 语言 设施 和 标准 库 s。 本 书 的 作者 
一 点 也 不 炫 浴 目 己 的 知识 和 拷 巧 ， 虽 然 他 们 有 十 中 的 资本 。 这 本 书 用 
语 非 党 严 识 (没有 那些 似是而非 的 比喻 〉， 用 词 平 和 ， 讲 解 细 改 ， 斌 起 
来 并 不 村 燥 。 特 别 是 如 果 你 已 经 有 一 定 的 编程 经 验 ， 在 阅读 时 不 妨 思 考 
如 何 用 C++ 来 更 好 地 完成 以 往 的 编程 任务 。 

尽管 本 书 篇 幅 近 900 页 ， 但 其 内 容 还 是 十 分 对 凑 的 ， 很 多 地 方 谈 一 
个 句子 束 值 得 与 一 小 段 代 人 查 去 验证 。 为 了 和 省 扁 幅 ， 本 书 经 种 修改 前 文 
代码 中 的 一 两 行 ， 来 说 明 新 的 知识 点 ， 值 得 把 每 一 行 代 码 豆 到 机 堪 中 去 
验证 。 习 题 当 然 也 不 能 轻易 放 过 。 

《C++ Primer〈 第 4 厂 ) 》 体 现 了 现代 C++ 教学 与 编程 理念 : 在 现成 
的 高 质量 类 库 上 构建 目 己 的 程序 ， 而 不 是 什么 都 从 头目 己 与 。 这 本 书 在 
第 3 章 介 绍 了 string 和 vector 这 两 个 党 用 的 class， 江 刻 就 能 写 出 很 多 有 用 
的 程序 。 但 作者 不 是 一 次 性 把 string 的 上 百 个 成 员 了 水 数 一 一 列举 ， 而 是 


有 选择 地 先 讲解 了 最 委 用 的 那 几 个 函数 ， 充 分 体现 了 本 书 作为 教材 而 不 
是 手册 的 定位 。 

《C++ Primer〔 第 4 版 )》 的 代码 示例 质量 很 咒 ， 人 不是 那 种 随手 写 
的 玩具 代码 。 第 10.4.2 节 实现 了 市 至 用 词 的 持 词 计数 ， 第 10.6 利 用 标准 
库容 器 简洁 地 实现 了 基于 倒 排 索引 思路 的 文本 检索 ， 第 15.9 订 义 用 和 面 癌 
对 象 廊 法 扩充 了 文本 检索 的 功能 ， 文 持 布 尔 合 询 。 值 得 一 所 的 是 ， 这 本 
书 讲解 继承 和 多 态 时 举 的 例子 符合 Liskov 蔡 换 原 则 ， 有 是 正宗 的 面 癌 对 
象 。 相 反 ， 祭 些 教 材 以 复 用 基 类 代 人 码 为 目的 ， 第 以 人 、 竺 生 、 老 师 、 
教授 ?或 “雇员 、 经 理 、 销 售 、 人 合同工 ?为 例 ， 这 是 误 用 了 面 同 对 象 的 “ 复 


| 

《C++ Primer 〈 第 4 版 ) 》 出 版 于 2005 和 年， 遵循 2003 年 的 C++ 语言 标 
准 二 。C++ 新 标准 已 于 2011 年 定 条 〈 称 为 C++11) ， 本 书 不 涉及 TR12 和 
C++11， 这 并 不 意味 着 这 本 书 过 时 了 2a。 相 反 ， 这 本 书 里 沉 诈 的 都 是 当 
前 广泛 使 用 的 C++ 编程 实践 ， 学 习 它 可 谓 正 当时 。 评 注 版 也 不 会 越 租 代 
证 地 介绍 这 些 新 内 容 ， 但 是 会 指出 哪些 语言 设施 已 在 新 标准 中 废弃 ， 如 
倪 读 者 浪费 精力 。 

《C++ Primer (第 4 版 ，》 是 平台 中 并 的 ， 并 不 针对 特定 的 编译 器 
或 操作 系统 。 目 前 最 主流 的 C++ 编译 器 有 两 个 ，GNU G++ 和 微软 Visual 
C++。 实 际 上 ， 这 两 个 编译 器 阵 吾 基本 上 “ 模 塑 ”了 C++ 语言 的 行为 。 理 
论 上 讲 ，C++ 语 言 的 行为 是 由 C++ 标准 规定 的 。 但 是 C++ 不 像 其 他 很 多 
语言 有 “官方 参考 实现 4:”， 因 此 C++ 的 行为 实际 上 是 由 语言 标准 、 几 大 
主流 编译 器 、 现 有 不 计 其 数 的 C++ 产 品 代 人 码 共 同 确定 的 ， 三 者 相互 制 
维 。C++ 编 译 右 不 光 要 尺 可 能 从 合 标 准 ， 同 时 也 要 亲人 循 目标 平台 的 成 文 
或 不 成 文 规范 和 约定 ， 例 如 高 效 地 利用 人 硬件 资源 、 莱 容 操作 系统 提供 的 
C 语 言 接口 等 等 。 在 C++ 标准 没有 明文 规定 的 地 方 ，C++ 编 详 需 也 不 能 
随心 所 欲 地 目 由 发 挥 。 和 学 习 C++ 的 要 点 之 一 是 明日 哪些 行为 是 由 标准 保 
证 的 ， 哪 些 是 由 实现 ( 软 硬 件 平 台 和 编译 器 ， 保 证 的 2s， 哪 些 是 编译 器 
目 由 实现 ， 没 有 保证 的 ; 换言之 ， 明 白 哪 些 程序 行为 是 可 依赖 的 。 从 学 
习 的 角度 ， 我 建议 如 果 有 人 条件 不 妨 两 个 编译 右 都 用 ， 相 互 比照 ， 避 免 把 
编译 器 和 平台 特定 的 行为 误解 为 C++ 语 言 规定 的 行为 。 尽 管 不 是 每 个 
人 都 需要 写 跨 平台 的 代码 ， 但 也 大 可 不 必 上 日 我 限定 在 编译 器 的 某 个 特定 
版 本 ， 毕 葛 编 译 器 是 会 升级 的 。 

本 着 “ 练 从 难处 练 ， 用 从 易 处 用 ”的 精神 ， 我 建议 在 命令 行 下 编译 运 
行 本 书 的 示例 代码 ， 并 尽量 少 用 调试 器 。 男 外 ， 值 得 了 解 C++ 的 编译 链 
接 模 型 上 :， 这 样 才 能 不 被 实际 开发 中 过 到 的 编译 错误 或 链接 错误 绊 住 手 
脚 。 〈C++ 不 像 现 代 语 言 那 样 有 完善 的 模块 (module) 和 包 (package ) 
设施 ， 它 从 C 语 言 继承 了 头 文 件 、 源 文件 、 库 文件 等 十 老 的 模块 化 机 


这 套 机 制 相 对 较为 脆弱 ， 需 要 花 一 定时 间 学 习 规 范 的 做 法 ， 避 免 误 
。 ) 

就 学 习 C++ 语 言 本 里 而 言 ， 我 认为 有 几 个 练习 非常 值得 一 做 。 这 不 
征 “ 重 复 友 明 轮 子 ”， 而 是 必要 的 编程 练习 ， 帮 助 你 熟悉 、 和 营 握 这 门 语 
言 。 一 是 写 一 个 复数 类 或 者 大 整数 类 s， 实 现 基本 的 加 减 乘 运算 ， 熟悉 
封 疙 与 数据 抽象 。 二 是 写 一 个 字符 串 类 ， 熟 悉 内 存 官 理 与 氨 贝 控制 。 三 
是 写 一 个 简化 的 vector<T> 类 模板 ， 熟 悉 基 本 的 模板 编程 ， 你 的 这 个 
Vector 应 该 能 放 入 int 和 std::string 等 元 又 类 型 。 四 是 写 一 个 表达 式 计算 
器 ， 实 现 一 个 节点 类 的 继承 体系 〈 图 B-1 右 ) ， 体 会 面 癌 对 象 编程 。 前 
三 个 练习 是 写 独 立 的 值 语 义 的 类 ， 第 四 个 练习 是 对 象 语 义 ， 同 时 要 考虑 
类 与 类 之 间 的 关系 。 

表达 式 计算 器 能 把 四 则 运算 式 3 十 2x4 解 析 为 图 B-1 左 图 的 表达 式 树 3 
， 对 根 节 点 调用 calculate0) 虚 函数 不 能 算出 表达 式 的 值 。 做 完 之 后 还 可 
以 再 扩充 功能 ， 比 如 支持 三 角 函 数 和 变量 。 





Nultiply Node 









AddNode 
图 B-1 


在 写 完 面 同 对 象 版 的 表达 式 树 之 后 ， 还 可 以 略微 答 试 泛 型 编程 。 比 
如 把 类 的 继承 体系 和 窗 化 为 图 B-2， 然 后 用 BinaryNode<std::plus<double> > 
和 BinaryNode<std:: multiplies<double> > 来 具 现 化 BinaryNode<T> 类 模 
板 ， 通 过 控制 模板 参数 的 类 型 来 实现 不 同 的 运算 。 


oa ww 


NumberNode 












BinaryNode<|1> 





图 B-2 


在 表达 式 树 这 个 例子 中 ， 厄 点 对 象 是 动态 创建 的 ， 值 得 思考 : 如 何 
才能 安全 地 、 不 重 不 漏 地 释放 内 存 。 本 书 第 15.8 节 的 Handle 可 供 参考 。 
CC++ 的 面 同 对 象 基础 设施 相对 于 现代 的 语言 而 言 显得 很 简陋 ， 现 在 
C++ 也 不 再 以 “支持 面 同 对 象 ”? 为 忆 点 了 。) 

C++ 难 学 吗 ?“ 能 够 徘 读 书 、 看 文章 、 读 代码 、 做 练习 学 会 的 东西 
没什么 门槛 ， 知 力 正 第 的 人 只 要 愿意 花 工 夫 ， 都 不 难 达 到 〈 不 错 ) 的 程 
度 。¥”C++ 好 书 很 多 ， 不 过 优秀 的 C++ 开 源 代码 很 少 ， 而 且 风 格 巡 异 
。 我 这 里 按 个 人 口味 和 经 验 列 几 个 供 读 者 参考 阅读 : Google 的 
Protobuf、leveldb、PCRE 的 C++ 封装 ， 我 自己 写 的 muduo 网 络 库 。 这 些 
代码 都 不 长 ， 功 能 明确 ， 阅 读 难 度 不 大 。 如 果 有 时 间 ， 还 可 以 谈 一 旋 
Chromium 中 的 基础 库 源 码 。 在 读 Google 开 源 的 C++ 代码 时 要 连 注 释 一 起 
细 读 。 我 不 建议 一 开始 就 读 STL 或 Boost 的 源码 ， 因 为 编写 通用 C++ 模板 
库 和 编写 C++ 应 用 程序 的 知识 体系 相 天 很 大 。 男 外 可 以 考虑 读 一 些 优秀 
的 C 或 Java 开 源 项 目 ， 并 思考 是 否 可 以 用 C++ 更 好 地 实现 或 封装 之 ( 特 
别 是 资源 管理 方面 能 否 避 免 手 动 清理 ) 。 


B.3 继续 前 进 


我 能 够 随手 列 出 十 几 本 C++ 好 书 ， 但 是 从 实用 角度 出 发 ， 这 里 只 举 
两 三 本 必 旋 的 书 。 旋 过 《C++ Primer》 和 这 几 本 书 之 后 ， 想 必 斌 者 已 能 
目 行 识别 C++ 图 书 的 优 务 ， 可 以 根据 项 目 和 需要 加 以 钼 研 。 

第 一 本 是 《Effective C++ 中 文 版 (第 3 版 )》3[EC3]。 学 习 语 法 是 
一 回 事 ， 高 效 地 运用 这 门 语言 是 另 一 回 事 。C++ 是 一 个 遇 布 陷阱 的 语 
言 ， 吸 取 专 家 经 验 尤 为 重要 ， 既 能 快速 提高 眼界 ， 又 能 避免 重 中 上 歼 辐 。 
《C++ Primer》 加 上 这 本 书包 舍 的 C++ 知识 足以 应 付 日 第 应 用 程序 开 
发 


我 假定 读者 一 定 会 阅读 这 本 书 ， 因 此 在 评注 中 不 引用 《Effective 
C++ 中 文 版 〈 第 3 版 ) 》 的 任何 章节 。 

《Effective C++ 中 文 版 〈 第 3 版 ) 》 的 内 容 也 反映 了 C++ 用 法 的 进 
步 。 第 2 版 建议 “总 是 让 基 类 拥有 虚 析 构 函 数 ”"， 第 3 版 改 为 “为 多 态 基 类 
声明 虚 析 构 函 数 ”"。 因 为 在 C++ 中 ,，“ 继 承 ” 不 光 只 有 面向 对 象 这 一 种 用 
途 ， 即 C++ 的 继承 不 一 定 是 为 了 履 写 (override〉 其 类 的 虚 函 数 。 第 2 版 
化 了 很 多 笔 堆 介绍 浅 找 贝 与 深 捞 贝 ， 以 及 对 指针 成 员 变 量 的 处 理 s4。 第 3 
版 则 提议 ， 对 于 多 数 class 而 言 ， 要 么 直接 禁用 找 贝 构造 函数 和 赋值 操作 
件 ， 要 么 通过 选用 合适 的 成 员 变 量 类 型 1， 使 得 编译 右 默 认 和 生成 的 这 两 


个 成 员 函 数 就 能 正常 工作 。 

什么 是 C++ 编 程 中 最 重要 的 编程 技法 (idiom) ? 我 认为 是 “用 对 象 
来 管理 资源 ”， 即 RAII。 资 源 包括 动态 分 配 的 内 存 2， 也 包括 打开 的 文 
件 、TCP 网 络 连接 、 数 据 库 连接 、 互 斥 锁 等 等 。 借 助 RAI， 我 们 可 以 把 
资源 管理 和 对 象 生 命 期 管理 等 同 起 来 ， 而 对 象 生 命 期 管理 在 现代 C++ 里 
根本 不 困难 〈 见 注 5) ， 只 需要 人 花 儿 天 时 间 贺 悉 几 个 智能 指针 的 基本 用 
法 即 可 。 学 会 了 这 三 招 两 式 ， 现 代 的 C++ 程序 中 可 以 完全 不 写 delete， 也 
不 必 为 指针 或 内 存 错误 操心 。 现 代 C++ 程 序 里 出 现 资源 和 内 存 兴 着 的 唯 
一 可 能 古人 循环 引用 ， 一 旦 发 现 ， 也 很 容易 修正 设计 和 代码 。 这 方面 的 详 
细 内 容 请 参考 《Effective C++ 中 文 版 《第 3 版 》 的 第 3 章 “ 资 源 官 理 ”。 

C++ 是 目前 唯一 能 实现 目 动 化 资源 管理 的 语言 ，C 语 言 完 全 靠 手 工 
释放 资源 ， 而 其 他 基于 垃圾 收集 的 语言 只 能 日 动 清理 内 存 ， 而 个 能 日 动 
清理 其 他 资源 4 (网 络 连接 ， 数 据 库 连接 等 ) 。 

除了 智能 指针 ，TR1 中 的 bind/function 也 十 分 值得 投入 精力 去 学 一 学 
s。 让 你 从 一 个 胃 新 的 视角 ， 重 新 审视 类 与 类 之 则 的 关系 。Stephan TT. 
Lavavej 有 一 父 PPT 介 绍 TR1 的 这 几 个 主要 部 件 4。 

第 二 本 书 ， 如 果 读 者 还 是 在 校 学 生 ， 己 经 学 过 数据 结构 课程 2 的 
话 ， 可 以 考虑 读 一 读 《 泛 型 编程 与 STL》2; 如 果 已 经 工作 ， 学 完 《C++ 
Primer》 芯 刻 束 要 参加 C++ 项 目 开 及 ， 那 么 我 推荐 疯 读 《C++ 编程 规 
范 》2[CCS]。 

泛 型 编程 有 一 父 目 己 的 术语 ， 如 concept、model、refinement 等 等 ， 
理解 这 矢 术 语 才 能 陪读 泛 型 程序 库 的 文档 。 即 便 不 擎 握 汉 型 编程 作为 一 
种 程序 设计 方法 ， 也 要 掌握 C++ 中 以 泛 型 思维 设计 出 来 的 标准 容 颖 库 和 
算法 库 (STL) 。 坊 间 面 同 对 象 的 书 琳 下 满 目 ， 学 习 机 会 也 很 多 ， 而 泛 
型 编程 只 有 这 么 一 本 ， 读 之 可 以 开阔 视野 ， 并 且 加 深 对 STL 的 理解 〈( 特 
别 是 从 代 人 右 s〉 和 应 用 。 

C++ 模板 是 一 种 强大 的 抽象 手段 ， 我 不 赞同 每 个 人 都 把 精力 花 在 锁 
研 艰深 的 模板 语法 和 技巧 上 。 从 实用 角度， 能 在 应 用 程序 中 写 写 人 简单 的 
ee (以 type traits 为 限 ) ， 并 非 每 个 人 都 要 去 写 公 用 
， 只 

由 于 C++ 语言 过 于 庞大 复杂 ， 我 见 过 的 开发 团队 都 对 其 勇 裁 使 用 
。 人 往往 团队 越 大 ， 项 目 成 立时 间 越 早 ， 和 甬 裁 得 越 历 害 ， 也 越 接近 C。 制 
订 一 份 好 的 编程 规范 相当 不 容 兄 。 奉 规范 定 得 太 汉 《比如 定 为 团队 成 员 
知识 能 力 的 交集 〉 ， 程 序 员 束 手 束 脚 ， 限 制 了 生产 力 ， 对 程序 员 个 人 发 
展 也 不 利 。 硅 规范 定 得 太 松 《〈 定 为 团队 成 员 知 识 能 力 的 并 集 ) ， 项 目 
内 代码 风格 授 异 ， 学 习 交 流 协 作成 本 上 升 ， 臣 介 对 生产 力也 不 利 。 由 两 
位 顶级 专家 合 写 的 《C++ 编程 规范 》 一 书 可 谓 是 现代 C++ 编程 规范 的 苍 


《C++ 编程 规范 》 同 时 也 是 专家 经 验 一 类 的 书 ， 这 本 书 篇 幅 比 
《Effective C++ 中 文 版 《〈 第 3 版 ) 》 短 小 ， 条 寻 数 目 却 多 了 近 一 倍 ， 可 
谓 言 徐 意 凡 。 有 的 条 蒜 看 了 束 明 日 ， 照 做 即 可 : 


:第 1 条 ， 以 局 警告 级 询 编 译 代 码 ， 确 傈 编 详 器 无 警告。 

:第 31 条 ， 有 避免 号 出 依赖 于 函数 实 参 求 什 顺序 的 代码 。C++ 操 作 符 的 
优 和 匈 级、 结合 性 与 表达 式 的 求全 顺序 是 无 天 的 。 堆 军 菩 老师 与 的 
《C/C++ 语言 中 表达 式 的 求 值 》3 一 文 对 此 于 明 确 的 说 明 。 

第 35 条 ， 避 人 免 继承 “并 非 设 计 作 为 基 类 使 用 ”的 class。 

:第 43 条 ， 明 智 地 使 用 pimnp1。 这 是 编写 C++ 动态 链接 库 的 必 备 手 
法 ， 可 以 最 大 限度 地 提高 二 进 制 莱 容 性 。 

:第 56 条 ， 尺 量 提 供 不 会 失败 的 swap0O 函 数 。 有 了 swap0 〇 0 函数， 我 们 
在 和 目 定义 赋值 操作 符 时 束 不 必 检 查 目 赋值 了。 

第 59 条 ， 不 要 在 头 文件 中 或 黄 nclude 之 前 写 using。 

:第 73 和 条， 以 by value 方 式 抛 出 卉 第， 以 by reference 方 式 捕 捉弄 第。 

第 76 条 ， 优 先 考虑 vector， 其 次 再 选择 适当 的 容器 。 

:第 79 条 ， 容 需 内 只 可 存放 value 和 Smart pointer。 


有 有 的 条 球 则 需要 相当 的 设计 与 编 公 经 验 才能 解 其 中 三 昧 : 


:第 5 条 ， 为 每 个 物体 (entity) 分 配 一 个 内 聚 任务 。 

第 6 条 ， 正 硝 性 、 人 徐 音 性、 清晰 性 后 首 。 

“第 8、9 条 ， 不 要 过 早 优化 ; 不 要 过 早 务 化 。 

第 22 条 ， 将 依赖 天 系 最 小 化 。 人 避免 循环 依赖 。 

:第 32 条 ， 损 清楚 你 写 的 是 哪 一 种 class。 明 日 value class、base 
class、trait class、policy class、exception class 各 有 其 作用 ， 写 法 也 不 尽 
相同 。 

:第 33 条 ， 尽 可 能 与 小 型 class， 避 免 写 出 “大 怪兽 〈monolithic 
Class) ”。 


第 37 条 ，public 继 承 意 味 着 可 蔡 换 性 。 继 承 非 为 复 用 ， 疙 为 被 复 
用 。 

:第 57 和 条， 将 class 关 型 及 其 非 成 员 函 数 接口 放 入 同一 个 namespace。 

值得 一 提 的 是 ，《C++ 编 程 规范 》 是 出 发 点 ， 但 不 是 一 份 终极 规 


范 。 例 如 Google 的 C++ 编程 规范 和 LLVM 编 程 规范 = 都 明确 茶 用 异 弟 ， 
这 跟 这 本 书 的 推 存 做 法 正好 相反 。 


B.4 评注 碑 使 用 说 明 


评注 厂 肝 用 大 16 开 印刷 ， 在 保留 原 书 版 陈 的 前 担 下， 对 其 进行 了 重 
新 分 页 ， 评 注 的 文字 与 正文 左右 分 栏 并 列 排 版 。 另 外 ， 本 书 己 依据 原 书 
2010 年 第 11 次 印刷 的 版 本 进行 了 全 面 修订 。 为 了 节省 篇 幅 ， 原 书 每 草木 
尾 的 小 结 、 术 语 表 及 书 末 的 索引 都 没有 印 在 评注 版 中 ， 而 是 做 成 PDF 供 
读者 下 载 ， 这 也 方便 读者 检索 。 评 注 的 目的 古 帮 助 初次 学 习 C++ 的 读者 
快速 深入 掌握 这 门 语言 的 核心 知识 ， 淤 清 一 些 概念 、 比 较 与 其 他 语言 的 
不 同 、 补 充实 践 中 的 注意 事项 等 。 评 注 的 内 容 约 占 全 书 扁 幅 的 15%， 大 
人 到 比例 是 三 分 评 、 七 分 注 ， 并 有 一 些 补 白 的 内 容 s。 如 果 读 者 拿 不 定 主 
意 是 否 购买 ， 可 以 先 翻 一 翻 第 5 章 。 我 在 评注 中 不 谈 C++11z， 但 会 略微 
涉及 TR1， 因 为 TR1 已 经 投入 实用 。 

为 了 不 打 断 旋 者 陪读 的 思路 ， 评 注 中 不 会 给 URE 链 接 ， 评 注 中 信和 尔 
会 引用 《C++ 编程 规范 》 的 条 称 ， 以 [CCS] 标 明 ， 这 些 条 秋 的 标题 已 在 
前 文 列 出 。 画 外 评注 中 出 现 的 SoXXXXXX 表 示 
http://stackoverflow.com/questions/XXXXXX 网 址 。 


网 上 资源 


代 人 码 下 载 : http://www.informit.com/store/product.aspx?isbn=0201721481 
豆 辨 页面: http://book.douban.com/subject/10944985/ 

术语 表 与 索引 PDF 下 载 : http://chenshuo.com/cp4/ (本 序 的 电子 版 也 发 布 
于 些 ， 方 便 读 者 访问 脚注 中 的 网 站 〉。 


我 的 联系 方式 : giantchen@gmail.com http://weibo.com/giantchen 
陈 借 
2012 年 5 月 
中 国 . 香 港 


注释 

1 见 编程 语言 性 能 对 比 网 站 (http://shootout.alioth.debian.org/ ) 和 Google 员 工 写 的 语言 性 能 
对 比 论文 (https://days2011.scala-lang.org/sites/days2011/files/ws3-1-Hundt.pdf ) 。 

2 “C++ 之 父 Bjarne Stroustrup 维 护 的 C++ 用 户 列 表 : 
http://www2.research.att.com/~bs/applications.html 。 

3 初 壬 C++ 在 肉 入 式 系统 中 的 应 用 ， 参 见 httpWaristeia.com/TalkNoteSMISRA Day 2010.pdf 。 

4 Milo Yip 在 《C++ 强 大 背后 》 提 到 大 部 分 游戏 引擎 (如 Unreal/Source〉 及 中 间 件 (如 
Havok/FMOD) 是 C++ 实 现 的 ( 
http://www.cnblogs.com/miloyip/archive/2010/09/17/behind cplusplus.html > 。 








5 “参见 备 岩 的 《垃圾 收集 机 制 批判 》: “C++ 利用 智能 指针 达成 的 效果 是 ， 一 旦 某 对 象 不 
再 被 引用 ， 系 统 刻 不 容 组， 立刻 回收 内 存 。 这 通常 发 生 在 关键 任务 完成 后 的 清理 〈clean up) 时 
期 ， 不 会 影响 关键 任务 的 实时 性 ， 同 时 ， 内 存 里 所 有 的 对 象 都 是 有 用 的 ， 绝 对 没有 垃圾 空 占 内 
存 。” (http://blog.csdn.net/myan/article/details/1906 ) 

让 6 ”有 人 半 开 玩 疾 地 说 :“ 上 所 谓 系 统 编程 ， 就 是 那些 CPU 时 间 比 程序 员 的 时 间 更 重要 的 工 

7 《Software Development for Infrastructure》 ( 
http://www2.research.att.com/~bs/Computer-Jan12.pdf ) 。 

8 Herb Sutter 在 C++ and Beyond 2011 会 议 上 的 开场 演讲 : 《Why C++?》 

Chttpy/channeld.msdn.com/posts/C- and-Beyond-2011-Herb-Sutter-Why-C ) 。 

9 这 里 的 灵活 性 指 的 是 编译 器 不 阻止 你 干 你 想 干 的 事情 ， 比 如 为 了 追求 运行 效率 而 实现 
即时 编译 ( just-in-time el 

10 ”我 曾 癌 Stanley Lippman 介 绍 目前 我 在 Linux 下 的 工作 环境 (编辑 器 、 编 译 颖 、 调 试 

蓝 ) ， 他 表示 这 跟 他 在 1970 年 代 的 工作 环境 相差 无 凡 ， 可 见 C++ 在 开 人 及 工具 方面 的 落后。 万 外 
C++ 的 编译 运行 调试 周期 也 比 现代 的 语言 长 ， 这 多 少 影响 了 工作 效率 。 
11 可 参考 Ulrich Drepper 在 《Stop Underutilizing Your Computer》 中 举 的 SIMD 例 子 
Chttp://www.redhat.com/f/pdf/summit/udrepper 945 stop underutilizing.pdf ) 。 

12 《Technical Report on C++ Performance》 ( 
http://www.open-std.org/jtc1/sc22/wg21/docs/18015.html ) 。 

13 “可 参考 Scott Meyers 的 《Effective C++ in an Embedded Environment》 讲 义 

Chttp://www.artima.com/shop/effective cpp in an _ embedded environment ) 。 

14 ”我 们 知道 std::list 的 任 一 位 置 插 入 是 O(1) 操 作 ， 而 std::vector 的 任 一 位 置 插 入 是 O(N) 操 
作 ， 但 由 于 vector 的 元 素 布局 更 加 紧凑 (compact) ， 很 多 时 候 vector 的 随机 插入 性 能 甚至 会 高 于 
oe 参见 http://ecn.channel9.msdn.com/events/GoingNative12/GN12Cpp11Style.pdf ， 这 也 伍 证 Vector 十 

容 规 。 

15 http://aristela.com/TalkNotes/ACCU2011 CPUCaches.pdf 

16 http://www.nwcpp. org/Downtoads/200//Machine Architecture - NWCPPpdf 

17 ”Bjarne Stroustrup 有 一 篇 论文 《Abstraction and the C++ machine model》 对 比 了 C++ 和 
Java 的 对 象 内 存 布局 (http://www2.research.att.com/ bs/abstraction-and-machine.pdf ) 。 

18 ” 语 出 责 岩 《快速 掌握 一 个 语言 最 常用 的 50%》 

a net/myan/article/details/3144661 ) 。 

ee “权威 ?的 意思 是 说 你 不 用 担心 作者 讲 错 了 ， 能 达到 这 个 水 准 的 C++ 图 书 作 者 全 世界 也 

加 指 可 数 。 

同样 篇 幅 的 Java、C#、Python 教 材 可 以 从 语言 、 标 准 库 一 路 讲 到 多 线程 、 网 络 编程 、 
形 编程 。 

21 ， 候 捷 《大 道 之 行 也 C++ Primer 3/e 译 序 》 ( 
http://Jjhou.boolan.com/cpp-primer-foreword.pdf ) 。 

22 Bjarne Stroustrup 在 《Programming 一 Principles and Practice Using C++》 的 参考 文献 中 
引用 了 本 书 ， 并 特别 注 明 “use only the 4th edition”。 

23 ” 伐 捷 《C++ Primer 4/e 译 序 》。 

24 ”如 果 没 有 时 间 精 读 脚注 22 中 提 到 的 那 本 大 部 头 ， 短 小 精干 的 《Accelerated C++》 永 是 
上 佳之 选 。 太 外 如 果 想 从 C 语 言 入 手 ， 我 推荐 表 宗 燕 老 师 的 《从 问题 到 程序 :程序 设计 与 C 语 言 
引 论 》《 用 了 最 新 版 ) 。 

2 本 书 把 iostream 的 格式 化 输 出 放 到 附录 ， 彻 底 不 谈 locale/facet， 可 谓 匠 心 独 运 。 

26 ”Stanley Lippman 曾 说 : Virtual base class Support wanders off into the Byzantine... The 
material is simply too esoteric to warrant discussion... 

Te 修正 了 编译 器 作者 关心 的 一 些 问 题 ， 与 普通 程序 
册 付 
28 TR1 是 2005 年 C++ 标 准 库 的 一 次 扩充 ， 增 加 了 和 闹 能 指针 、bind/function、 哈 希 表 、 正 则 























29 ”作者 正在 编写 《C++ Primer 〈 第 5 版 ) 》， 会 包含 C++11 的 内 容 。 

30 ” G++ 统治 了 Linux， 并 且 能 用 在 很 多 Unix 系 统 上 ; Visual C++ 统治 了 Windows。 其 他 
C++ 编 译 占 的 行为 通常 要 问 它 们 徘 扰 ， 例 如 Intel C++ 在 Linux 上 要 兼容 G++， 而 在 Windows 上 要 
阅 容 Visual C++。 

31 ”曾经 是 Cfront， 本 书 作 者 正 是 其 主要 开发 者 ( 
http://www.softwarepreservation.org/projects/c plus plus ) 。 

32 ”包括 C++ 标 准 有 规定 ， 但 编译 占 拒 绝 困 循 的 http://stackoverflow.com/questions/3931312 
后 

33 G++ 是 免费 的 ， 可 使 用 较 狐 的 4.x 版 ， 最 好 32-bit 和 64-bit 一 起 用 ， 因 为 服务 端 已 经 普 
64-bit 编 程 。 微 软 也 有 人 免费 的 C++ 编 译 器 ， 可 考虑 用 Visual C++ 2010 Express， 建 议 不 要 用 老 挥 牙 
的 Visual C++ 6.0 作 为 学 习 平 台 。 

34 ”可 参考 笔者 写 的 《C++ 工 程 实践 经 验 谈 》 中 的 “C++ 编 译 模型 精 要 ”一 市 (本 书 第 10 


35 ”大 整数 类 可 以 以 std::vector<int> 为 成 员 变 量 ， 避 人 免 手 动 资源 管理 。 

36 “解析 ?可 以 用 数据 结构 课程 介绍 的 逆流 兰 表 达 式 方法 ， 也 可 以 用 编译 原理 中 介绍 的 递 
归 下 降 法 ， 还 可 以 用 专门 的 Packrat 算 法 。 程 序 结构 可 参考 
http://www.relisoft.com/book/lang/poly/3tree.html 。 

37 ” 琴 宕 《技术 路 线 的 选择 重要 但 不 具有 决定 性 》 ( 
http://blog.csdn.net/myan/article/details/3247071 ) 。 

38 ”从 代码 风格 上 往往 能 判断 项 目 成 型 的 时 代 。 

39 ”Scott Meyers 着 ， 伐 捷 译 ， 电 子 工 业 出 版 社 出 版 。 

40 Andrew KoenigH] 《Teaching C++ Badly: Introduce Constructors and Destructors at the 
Same Time》 (http://drdobbs.com/blogs/cpp/229500116 ) 。 

41 能 目 动 管理 资源 的 std::string、std::vector、boost::shared_ptr 等 等 ， 这 样 多 数 class 连 析 构 
函数 都 不 必 写 。 

42 “分 配 内 存 ” 包 括 在 堆 (heap〉 上 创建 对 象 。 

43 ”包括 TR1 中 的 shared_ptr、weak_ptr， 还 有 更 简 持 的 boost::scoped_ptr。 

44 Java 7 有 try-with-resources 语 句 ，Python 有 with 语 句 ，C# 有 using 语 句 ， 可 以 目 动 清理 栈 
上 的 资源 ， 但 对 生命 期 大 于 局 部 作用 域 的 资源 无 能 为 力 ， 需 要 程序 员 手 工 管理 。 

45 了 乔 肉 的 《function/bind 的 救赎 (上 ) 》 (http://blog.csdn.net/myan/article/details/5928531 
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) 。 
46 http://blogs.msdn.com/b/vcblog/archive/2008/02/22/tri-slide-decks.aspx 
47 最 好 青学 一 点 基础 的 离散 数学 。 
48 ”Matthew Austerm 著 ， 伐 捷 译 ， 中 国电 力 出 版 社 。 
49 Herb Sutter 等 郑 ， 刘 基 茂 诺 ， 人 民 邮 电 出 厂 社 出 版 。《〈 这 本 书 的 楷体 厂 由 侯 捷 先生 和 
翻 详 。 


) 
50 ” 伐 捷 先生 的 《 芝 拷 开门 : 从 Iterator 谈 起 》 (http:Wjhou.boolan.com/programmer-3-traits.pdf 
) 。 


51 ” 亚 宕 的 《编程 语言 的 层次 观点 一 一 莱 谈 C++ 的 及 入 方案 》 ( 
http://blog.csdn.net/myan/article/detalls/1920 ) 。 

52 ”一 个 人 通 冰 不 会 在 一 个 团队 工作 一 奉子 ， 其 他 团队 可 能 有 不 同 的 C++ 甬 裁 使 用 方式 ， 
程序 员 要 有 “一 棚 水 ”的 本 事 ， 才 能 应 付 不 同形 状 大 小 的 水 硕 。 
http://www.math.pku.edu.cn/teachers/qiuzy/technotes/expression2009.pdf 
http://google-stylegulide.googlecode.com/svn/trunk/cppguide.xml#Exceptions 
http://llvym.org/docs/CodingStandards.html#c! rtt! exceptions 
第 10 章 绘制 了 数据 结构 示意 图 ， 第 11 半 补充 lower_bound 和 upper_bound 的 示例 。 

从 Scott Meyers 的 讲义 可 以 快速 学 习 C++11 ( 
http://www.artima.com/shop/overview of the new cpp ) 。 
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附录 C ”关于 Boost 的 看 法 


这 是 我 为 电子 工业 出 版 社 出 版 的 《Boost 程 序 库 完全 开发 指 商 》 与 
的 推荐 序 ， 此 处 节选 了 我 对 在 C++ 工 程 项 目 中 使 用 Boost 的 看 法 。 

好 这 一 年 ! 我 电话 面试 了 数 十 位 C++ 应 聘 者 。 惯 用 的 暧 场 问 题 是 “ 工 
作 中 使 用 过 STL 的 哪些 组 件 ? 使 用 过 Boost 的 哪些 组 件 ? ”。 得 到 的 答案 
大 多 集中 在 vector、map、shared_ptr。 如 果 对 方 是 在 校 学 生 ， 我 一 般 会 
问 问 vector 或 map 的 内 部 实现 、 各 种 操作 的 复杂 上 度 以 及 友 代 天 失 效 的 可 
能 场景 。 如 采 是 有 经 验 的 程序 员 ， 我 还 会 退 问 shared_ptr 的 线程 安全 
性 、 循 环 引 用 的 后 果 及 如 何 避 免 、weak_ptr 的 作用 等 。 如 果 这 些 都 回答 
得 不 错 ， 进 一 步 还 可 以 问 问 如 何 实现 线 程 安 全 的 引用 计数 ， 如 何 定 制 删 
际 动作 等 等 。 这 些 问 题 让 我 能 迅速 辨别 对 方 的 C++ 水 平 。 

我 之 所 以 在 面试 时 间 到 Boost， 古 因为 其 中 的 茶 些 组 件 确实 可 以 用 
于 编写 可 维护 的 产品 代 人 耕 。Boost 包 含 近 白 个 程序 库 ， 其 中 不 和 之 其 有 工 
程 实用 价值 的 佳品 。 每 个 人 的 口味 与 技术 形 景 不 一 样 ， 对 Boost 的 取舍 
也 不 一 样 。 束 我 的 个 人 经 验 而 言 ， 首 先 可 以 使 用 绝对 无 害 的 库 ， 例 如 
noncopyable、scoped_ptr、static_assert 等 ， 这 些 库 的 学 习 和 使 用 都 比较 
向 单 ， 容 易 入 手 。 其 次 ， 有 些 功能 目 己 实现 起 来 并 不 困难 ， 正 好 Boost 
里 提供 了 现成 的 代码 ， 那 融 不 妨 一 用 ， 比 如 date _time: 和 circular_ buffer 
等 等 。 然 后 ， 在 新 项 目 中 ， 对 于 消息 传递 和 资产 管理 可 以 知 虑 采用 更 加 
现代 的 方式 ， 例 如 用 function/bind 在 地 些 情况 下 代 蔡 虚 函 数 作 为 库 的 回 
调 接口 、 信 助 shared_ptr 实 现 线程 安全 的 对 象 回调 等 等 。 这 二 者 会 影响 
整个 程序 的 设计 思路 与 风格 ， 需 要 通盘 和 考虑， 如 果 正 确 使 用 智能 指针 ， 
在 现代 C++ 程序 里 一 般 不 需要 出 现 delete 语 句 。 最 后 ， 对 某 些 性 能 不 佳 的 
库 你 持 警 惕 ， 比 如 lexical_cast。 避 之， 在 项 目 组 成 员 人 人 都 能 理解 并 运 
Ee 适当 引入 现成 的 Boost 组 件 ， 以 减少 重复 玫 动 ， 提 高 生产 


Boost 是 一 个 宝 亩 ， 其 中 既 有 可 以 直接 拿 来 用 的 代码 ， 也 有 值得 借 
鉴 的 设计 思路 。 

试 举 一 例 : 正则 表达 式 库 regex 对 线程 安全 的 处 理 。 早 期 的 RegEx 
class 不 是 线程 安全 的 ， 它 把 “正则 表达 式 ” 和 “ 风 配 动作 ” 放 到 了 一 个 class 
里 边 。 由 于 有 可 变数 据 ，RegEx 的 对 象 不 能 跨 线 程 使 用 。 如 今 的 regex 明 
确 地 区 分 了 不 可 变 (immutable) 与 可 变 (mutable)〉 的 数据 ， 前 者 可 以 
安全 地 跨 线 程 共 享 ， 后 者 则 不 行 。 比 如 正则 表达 式 本 里 (basic_regex) 
与 一 次 匹配 的 结果 (match_results) 是 不 可 变 的 ， 而 匹配 动作 本 号 


(match_regex) 涉及 状态 更 新 ， 是 可 变 的 ， 于 是 用 可 重 入 的 图 数 将 其 老 
闭 起 来 ， 不 让 这 些 数 据 泄露 给 别 的 线程 。 正 是 由 于 做 了 这 样 合理 的 区 
分 ，regex 在 正常 使 用 时 束 不 必 加 锁 。 

Donald Knuth 在 《Coders at Work》 一 书 里 表达 了 这 样 一 个 观点 : 如 
果 程 序 员 的 工作 束 是 摆弄 参数 去 调用 现成 的 库 ， 而 不 知道 这 些 库 是 如 何 
实现 的 ， 那 么 这 份 职业 束 没 啥 乐趣 可 言 。 换 句 话 说 ， 固 然 我 们 强调 工作 
中 不 要 重新 发明 轮 了 于， 但 是 作为 一 个 合格 的 程序 员 ， 应 该 其 备 目 制 轮 子 
的 能 力 。 非 不 能 也 ， 是 不 为 也 。 

C/C++ 语言 的 一 大 特点 是 其 标准 库 可 以 用 语言 自 壬 实现 。C 标 准 库 
Hjstrlen、strcpy、stremp 系 列 函 数 是 教学 与 练习 的 好 题材 ，C++ 标 准 库 的 
complex、string、vector 则 是 class、 资 源 管理 、 模 板 编程 的 绝 佳 示范 。 在 
深入 了 解 STL 的 实现 之 后 ， 运 用 STIL 上 自然 手 到 擒 来 ， 并 能 日 动 避 人 急 一 些 
错误 和 低 效 的 用 法 。 

对 于 Boost 也 是 如 此 ， 为 了 消除 使 用 时 的 疑虑 ， 为 了 用 得 更 顺手 ， 

有 时 我 们 需要 适当 了 解 其 内 部 实现 ， 甚 至 编写 简化 版 用 作对 比 验 证 。 但 
是 由 于 Boost 代 码 用 到 了 日 党 应 用 程序 开发 中 不 常见 的 高级 语法 和 技 

巧 ， 并 且 为 了 路 多 个 平台 和 编译 硕 而 大 量 使 用 了 预 处 理 宏 ， 陪 谈 Boost 
源码 并 不 轻松 惰 意 ， 需 要 下 一 番 工 闪 。 画 一 方面 ， 如 条 帝 迷 于 这 些 有 趣 
的 搬 层 细节 而 扎 了 原本 要 解决 什么 问题 ， 烈 怕 束 舍 本 过 末了。 

Boost 中 的 很 多 库 是 按 泛 型 编程 〈generic programming) 的 范式 来 设 
计 的 ， 对 于 熟悉 面 回 对 象 编 程 的 人 而 言 ， 或 许 面 临 一 个 思路 的 转变 。 比 
如 ， 你 得 熟悉 泛 型 编程 的 那 套 术语 ， 如 concept、model、refinement， 才 
容易 访 情 Boost.Threads 的 文档 中 关于 各 种 锁 的 摘 述 。 我 息 ， 对 于 玖 悉 
STL 人 设计 理念 的 人 而 言 ， 这 不 是 什 么 大 问题 。 

在 条 些 领 域 ，Boost 不 是 唯一 的 选择 ， 也 不 一 定 是 最 好 的 选择 。 比 
如 ， 要 生成 公式 化 的 源 代码 ， 我 宁愿 用 脚本 语言 写 一 小 段 代 人 码 生 成 程 
序 ， 而 不 用 Boost.Preprocessor; 要 在 C++ 程序 中 通 入 领域 特定 语言 ， 我 
宁愿 用 Lua 或 其 他 语言 解释 硕 ， 而 不 用 Boost.Proto; 要 用 C++ 程序 解析 上 
下 文 无 关 文 法 ， 我 宁愿 用 ANTLR 来 定义 词法 与 语法 规则 并 生成 解析 此 
(parser) ， 而 不 用 Boost.Spirit。 总 之 ， 使 用 Boost 时 心态 要 平和 ， 别 较 
劲 去 改造 C++ 语言 。 把 它 有 助 于 提高 生产 力 的 那 部 分 功能 充分 发 挥 出 
来 ， 让 项 目 从 中 受 荔 才 是 关键 。 

(后 略 ) 


注释 
1 这 篇 文章 写 于 2010 年 8 月 。 
2 注意 boost::date_time 处 理 时 区 和 夏令 时 采用 的 方法 不 够 灵活 ， 可 以 考虑 使 用 





muduo::TimeZone。 


附录 D 关于 TCP 并 及 连 接 的 几 个 思考 题 与 试验 


机 前 儿 天 我 在 新 浪人 敌 博 上 出 了 两 道 有 天 TCP 的 思考 题 ， 引 发 了 一 声讨 
花 :。 

第 一 道 初 级 题目 是 : 有 一 台 机 右 ， 它 有 一 个 IP， 上 和 面 运行 了 一 个 
TCP 服 务 程序 ， 程 序 只 侦 听 一 个 端口 ， 问 : 从 理论 上 讲 ( 只 考虑 TCP/IP 
这 一 层面 ， 不 考虑 IPv6) 这 个 服务 程序 可 以 文 持 多 少 并 及 TCP 连 接 ? 
(党 65536 上 下 的 直接 出 局 。) 

具体 来 说 ， 这 个 问题 等 价 于 : 有 一 个 TCP 服 务 程序 的 地 址 是 
1.2.3.4:8765， 问 它 从 理论 上 能 接受 多 少 个 并 发 连接 ? 

第 二 道 进 阶 题目 是 : 一 全 被 测 机 需 A， 功 能 同上 ， 同 一 交换 机 上 还 
接 有 一 人 台 机 器 B， 如 果 人 允许 B 的 程序 直接 收发 以 太 网 frame， 问 : 让 A 承 
担 10 万 个 并 发 TCP 连 接 需 要 用 多 少 B 的 资源 ? 100 万 个 呢 ? 

从 讨论 的 结果 看 ， 很 多 人 做 出 了 第 一 道 题 ， 而 第 二 道 题 则 几乎 无 人 
问津 。 这 里 先 不 公布 答案 (第 一 题 答 采 见 文 末 ) ， 让 我 们 继续 思考 一 个 
本 质 的 问题 : 一 个 TCP 连 接 要 占用 多 少 系统 资源 ? 

在 现在 的 Linux 操 作 系 统 上 ， 如 末 用 socket(2) 或 accept(2) 来 创建 TCP 
连接 ， 那 么 每 个 连接 至 少 要 占用 一 个 文件 摘 述 符 (file descriptor〉。 为 
什么 说 “至 少 ”? 因为 文件 摘 述 符 可 以 复制 ， 比 如 dup0; 也 可 以 被 继承 ， 
比如 forkO0; 这 样 可 能 出 现 系 统 中 同一 个 TCP 连 接 有 多 个 文件 描述 符 与 之 
对 应 。 据 此 ， 很 多 人 给 出 的 第 一 题 答 采 是 : 并 发 连接 数 受 限于 系统 能 划 
时 打开 的 文件 数目 的 最 大 值 。 这 个 答 采 在 实践 中 是 正确 的 ， 却 不 从 合 原 

如 果 抛 开 操 作 系 统 层 面 ， 只 考虑 TCP/IP 层 面 ， 建 立 一 个 TCP 连 接 有 
哪些 开销 ?理论 上 最 小 的 开销 是 多 少 ? 考虑 两 个 场景 : 


1. 假设 有 一 个 TCP 服 务 程 序 ， 同 这 个 程序 成 功 发 起 连接 需要 做 哪 
些 事 情 ? 换 人 句 话说 ， 如 何 才 能 让 这 个 TCP 服 务 程 序 认为 有 客户 连接 到 了 
它 《 让 它 的 accept(2) 调 用 正常 返回 ) ? 

2. 假设 有 一 个 TCP 客 户 问 程 序 ， 让 这 个 程序 成 功 建立 到 服务 需 的 
连接 需要 做 哪些 事情 ? 换 名 话说， 如何 才能 让 这 个 TCP 和 客户 端 程序 认为 
它 日 己 已 经 连接 到 服务 器 了 (让 它 的 connect(2) 调 用 正常 运 回 ) ? 


以 上 这 两 个 问题 问 的 不 是 如 何 编程 ， 如 何 调 用 Sockets API， 而 是 问 
如 何 让 操作 系统 的 TCP/IP 协 议 栈 认为 任务 已 经 成 功 完 成 ， 连 接 已 经 成 功 


建 江 。 

学 过 TCP/IP 协 议 ， 理 解 三 路 握手 的 读者 想必 明日 ，TCP 连 接 是 虚拟 
的 连接 ， 不 是 电路 连接 。 维 持 TCP 连 接 理 论 上 不 占用 网 络 资源 (会 占用 
两 头 程序 的 系统 和 资源) 。 只 要 连接 的 双方 认为 TCP 连 接 存 在 ， 并 且 可 以 
互相 发 送 IP packet， 那 么 TCP 连 接 束 一 直 存 在。 

对 于 问题 |， 同一 个 TCP 服 务 程 序 发 起 一 个 连接 ， 客 户 闹 (为 明日 
起 见 ， 以 下 称 为 faketcp 客 户 闹 ) 只 需要 做 三 件 事 情 (三 路 握手 ): 


1a. 问 TCP 服 务 程序 发 一 个 IP packet， 包 含 SYN 的 TCP segment; 
1b. 等 每 对 方 返回 一 个 包含 SYN 和 ACK 的 TCP segment; 
1c. 癌 对 方 发 送 一 个 包含 ACK 的 segment。 


faketcp 客 户 剖 在 做 完 这 三 件 事情 之 后 ，TCP 服 务 器 程序 会 认为 连接 
已 建立 。 而 做 这 三 件 事情 并 不 占 用 和 客 尸 问 的 资源 (为 什么 ? ) ， 如 果 
faketcp 客 户 问 程序 可 以 绕 开 操作 系统 的 TCP/IP 协 议 栈 ， 自 己 直 接 发 送 并 
接收 IP packet 或 Ethernet frame 的 话 。 换 句 话 说，faketcp 客 户 刀 可 以 一 直 
重复 做 这 三 件 事件 ， 每 次 用 一 个 不 同 的 IP:PORT， 在 服务 冰 创 建 不 计 其 
数 的 TCP 连 接 ， 而 faketcp 客 户 闪 目 己 坚 发 无 损 。 我 们 很 快 将 看 到 如 何 用 
程序 来 实现 这 一 点 。 

对 于 问题 >， 为 了 让 一 个 TCP 客 户 问 程序 认为 连接 已 建 六 ，faketcp 
服务 病 也 只 需要 做 三 件 事 情 : 


2a. 等待 宫 户 靖 及 来 的 SYN TCP segment:; 
2b. 发 送 一 个 包含 SYN 和 ACK 的 TCP segment:; 
2c. 忽视 对 方 发 来 的 包含 ACK 的 Segment。 


faketcp 服 务 问 在 做 完 头 两 件 事情 〈 收 一 个 SYN、 发 一 个 
SYN+ACK) 之 后 ，TCP 客 户 问 程 序 会 认为 连接 已 建 这 。 而 做 这 三 件 事 
情 并 不 占用 faketcp 服 务 端 的 资源 〈 为 什么 ? ) 。 换 名 话说 ，faketcp 服 务 
端 可 以 一 直 重 复 做 这 三 件 事 ， 接 受 不 计 其 数 的 TCP 连 接 ， 而 faketcp 服 务 
端 目 己 旦 发 无 损 。 我 们 很 快 将 看 到 如 何 用 程序 来 实现 这 一 点 。 

基于 对 以 上 两 个 问题 的 分 机 ， 说 明 单 独 谈 论 “TCP 并 发 连接 数 ” 是 没 
有 意义 的 ， 因 为 连接 数 基 本 上 是 要 多 少 有 多 少 。 更 有 意义 的 性 能 指标 或 
许 是 : “每 秒 收发 多 少 条 消息 ” “每 秒 收 发 多 少 字 节 的 数据 和 “ 文 持 多 
少 个 活动 的 并 发 客户 ”等 等 。 


faketcp 的 程序 实现 


为 了 验证 我 上 面 的 说 法 ， 我 写 了 几 个 小 程序 来 实现 faketcp， 这 几 个 
程序 可 以 发 起 或 接受 不 计 其 数 的 TCP 并 发 连接 ， 并 且 不 消耗 操作 系统 资 
源 ， 连 动态 内 存 分 配 都 不 会 用 到 。 代 人 码 见 recipes/faketcp ， 可 以 直接 用 
make 编 译 。 

我 家 里 有 一 台 运 行 Ubuntu Linux 10.04 的 PC，hostname 是 atom， 上 所 有 
的 试验 都 在 这 上 面 进 行 。 家 里 试验 环境 的 网 络 配置 如 图 D-1 所 示 。 


TOUuUter 


图 D-1 
我 在 附录 A 中 曾 提 到 “可 以 用 TUN/TAP 设 备 在 用 户 态 实现 一 个 能 与 
本 机 点 对 点 通信 的 TCP/PP 协 议 栈 ”， 这 次 的 试验 正好 可 以 用 上 这 个 办 
法 。 试 验 的 网 络 配置 如 网 D-2 上 所 示 。 
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具体 做 法 是 : 在 atom 上 通过 打开 /dev/net/tun 设 备 来 创建 一 个 tun0 虚 
拟 网 卡 ， 然 后 把 这 个 网 卡 的 地 址 设 为 192.168.0.1/24， 这 样 faketcp 程 序 吏 
扮 儿 了 192.168.0.0/24 这 个 网 段 上 的 所 有 机 磊 。atom 肥 给 192.168.0.2 一 
192.168.0.254 的 IP packet 都 会 发 给 faketcp 程 序 ，faketcp 程 序 可 以 模拟 其 
中 任何 一 个 JP 给 atom 发 IP packet。 

程序 分 成 几 步 来 实现 。 

第 一 步 ; 实现 ICMPecho 协 议 ， 这 样 殉 能 ping 通 faketcp 了 。 代 码 见 
recipes/faketcp/icmpecho.cc 。 

其 中 啊 应 ICMPechorequest 的 函数 是 icmp_inputO0， 位 于 
recipes/faketcp/faketcp.cc 。 这 个 函数 在 后 面 的 程序 中 也 会 用 到 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 : 


1. 在 第 1 个 窗口 运行 sudo vicmpecho， 程 序 显示 

allocted tunnel interface tung 

2. 在 第 2 个 窗口 运行 

$ sudo ifconfig tun@ 192.168.0.1724 

$ sudo tcpdump -i tung 

3. 在 第 3 个 窗口 运行 

$ ping 192.168.0.2 

$ ping 192.168.0.3 

$ ping 192.168.0.234 

注意 到 每 个 192.168.0.X 的 IP 都 能 ping 通 。 

第 二 步 ; 实现 拒绝 TCP 连 接 的 功能 ， 即 在 收 到 SYN TCP segment 的 
时 候 发 送 RST segment。 代 码 见 recipes/faketcp/rejectall.cc 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 ， 头 两 个 窗口 的 操作 与 前 面相 同 ， 
运行 的 faketcp 程 序 古 ./rejectall。 在 第 3 个 窗口 运行 
$ nc 192.168.0.2 2000 
$ nc 192.168.0.2 3333 
$ nc 192.168.0.7 5555 

注意 到 辐 其 中 任意 一 个 了 正 肥 起 的 TCP 连 接 都 伞 拒 搂 了 。 

第 三 步 : 实现 接受 TCP 连 接 的 功能 ， 即 在 收 到 SYN TCP segment 的 
时 候 肥 回 SYN+ACK。 这 个 程序 同时 处 理 了 连接 断 开 的 情况 ， 即 在 收 到 
FIN segment 的 时 候 发 回 FIN+ACK。 代 码 见 recipes/faketcp/acceptall.cc 。 

运行 方法 ， 打 开 3 个 命令 行 贸 口 ， 步 又 与 前 面相 同 ， 运 行 的 faketcp 

程序 是 ./acceptall。 这 次 会 发 现 nc 能 和 192.168.0.X 中 的 每 一 个 IP 每 一 个 


port 都 能 连通 。 还 可 以 在 第 4 个 窗口 中 运行 netstat -tpn， 以 确认 连接 确实 
建立 起 来 了 。 如 末 在 nc 中 输入 数据 ， 数 据 会 堆积 在 操作 系统 中 ， 表 现 为 
netstat 显 示 的 发 送 队 列 〈S$end-Q) 的 长 度 增 加 。 

第 四 步 : 在 第 三 步 接 受 TCP 连 接 的 基础 上 ， 实 现 接收 数据 ， 即 在 收 
到 包含 payload 数 据 的 TCP segment 时 发 回 ACK。 代 码 见 
recipes/faketcp/discardall.cc 。 

运行 方法 ， 打 开 3 个 命令 行 窗 口 ， 步 又 与 前 面相 同 ， 运 行 的 faketcp 
程序 是 ./discardall。 这 次 会 发 现 nc 能 和 192.168.0.X 中 的 每 一 个 IP 每 一 个 
port 都 能 连通 ， 数 据 也 能 发 出 去 。 还 可 以 在 第 4 个 窗口 中 运行 netstat - 
tpn， 以 确认 连接 确实 建立 起 来 了 ， 并 且 及 大队 列 的 长 度 为 0。 

这 一 步 已 经 解决 了 前 面 的 问题 >， 扮演 任 间 TCP 服务 病 。 

第 五 步 : 解决 前 面 的 问题 1， 扮 演 客 户 端 同 atom 发 起 任意 多 的 连 
接 。 代 人 码 见 recipes/faketcp/connectmany.cc 。 

这 一 步 有 的 运行 方法 与 前 面 人 不同， 打开 4 个 命令 行 窗口 : 


1. 在 第 1 个 窗口 运行 sudo ./connectmany 192.168.0.1 2007 1000， 表 
示 将 同 192.168.0.1:2007 发 起 1000 个 并 发 连接 。 程 序 显示 


allocted tunnel interface tung 
press enter key to start connecting 192.168.0.1:2007 


2 ET 

$ sudo ifconfig tung 192.168.0.1724 

$ sudo tcpdump -i tung 

3， 在 第 3 个 窗口 运行 一 个 能 接收 并 发 TCP 连 接 的 服务 程序 ， 可 以 是 
httpd， 也 可 以 是 muduo 的 echo 或 discard 示 例 ， 程 序 必 listen 2007 端 口 。 

4. 在 第 1 个 窗口 中 按 回 车 键 ， 再 在 第 4 个 窗口 中 用 netstat -tpn 命 令 来 
观察 并 友 连 搁 。 


有 兴趣 的 话 ， 还 可 以 继续 扩展 ， 做 更 多 的 有 关 TCP 的 试验 ， 以 进 一 
步 加 深 理 解 ， 验 证 操作 系统 的 TCP/IP 协 议 栈 面 对 不 同 输入 的 行为 。 甚 至 
可 以 扫 我 在 附录 A 中 提议 的 那样 ， 实 现 完 整 的 TCP 状 态 机 ， 做 出 一 个 人 简 
单 的 mini tcp stack。 

第 一 道 题 的 答案 : 

在 只 考虑 IPv4 的 情况 下 ， 并 发 数 的 理论 上 限 是 2* 。 考 虑 某 些 IP 段 被 
保留 了 ， 这 个 上 界 可 适当 缩小 ， 但 数量 级 不 变 。 实 际 的 限制 是 操作 系统 
全 局 文件 摘 述 符 的 数量 ， 以 及 内 存 大 小 。 

一 个 TCP 连 接 有 两 个 send points， 每 个 end point 是 {fip, port}， 题 目 说 


其 中 一 个 end point 已 经 固定 ， 那 么 留 下 一 个 end point 的 目 由 上 度 ， 即 2? 。 
各 户 闪 卫 的 上 限 是 冯 个 ， 每 个 客户 靖 卫 及 起 连接 的 上 限定 2 ， 乘 到 一 起 
得 到 理论 上 限 。 

即便 客户 靖 使 用 NAT， 也 不 影响 这 个 理论 上 限 。《 为 什么 ? ) 

在 真实 的 Linux 系 统 中 ， 可 以 通过 调整 内 核 参 数 来 文 持 上 百 万 并 发 
连接 ， 具 体 做 法 见 : 


“http://urbanairship.com/blog/2010/09/29/linux-kernel-tuning-for-c300Kk/ 
http://www.metabrew.com/article/a-million-user-comet-application-with-mochiweb-part-3 
http://www.erlang-factory.com/upload/presentations/>28/efsft2012-whatsapp-scaling.pdf 


注释 
1 http://welbo.com/1/01018393/eCuxDrtaONn 
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